RocketMQ
支持的对端数据源及功能
请选择对端数据源,文档相关内容会根据对端数据源不同而调整。
选择对端:MySQL
核心能力
功能 | MySQL |
---|---|
结构迁移 | 否 |
全量数据迁移 | 否 |
增量实时同步 | 是 |
数据校验 | 否 |
数据订正 | 否 |
DDL实时同步 | 否 |
使用限制与注意点
项 | 说明 |
---|---|
仅支持 CloudCanal 格式的 topic 数据 | 作为源端订阅时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 格式 |
支持的类型与类型映射
RocketMQ 作为源端同步到对端数据库时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 格式,参考:MQ 消息同步格式。
CloudCanal 负责写入的数据会包含额外的列类型信息,这样可以确保 Kafka 写入对端数据库时可以根据额外的列类型信息进行类型转换。
必要条件
必要条件 | 说明 |
---|---|
账号权限 | 需要管理员账号登录 RocketMQ 管理控制台打开 Topic 的访问创建权限 |
数据源添加参数说明
项名称 | 说明 |
---|---|
网络地址 | 类型分为内网地址和外网地址。一个数据源可以包含一个内网地址和一个外网地址。网络地址格式为 Ip 地址和端口。默认添加的为内网地址,需要添加外网地址可以点击右侧 + 号 |
认证方式 | 支持选择不同的认证方式,例如有账号无密码或者无账号无密码 |
账号 | 数据库服务端账号 |
密码 | 数据库服务端密码 |
描述 | 非必填项,填写描述信息,方便管理数据源 |
物理位置 | 物理位置仅仅是一个标记,在管理多地域数据库时方便识别 |
常用源端任务参数
参数名称 | 说明 |
---|---|
consumeParallel | 消费 MQ 消息并行度 |
Tips: 所有数据源均有的通用参数配置请参考 通用参数配置