跳到主要内容

RocketMQ

支持的对端数据源及功能

请选择对端数据源,文档相关内容会根据对端数据源不同而调整。

选择对端:

核心能力

功能MySQL
结构迁移

全量数据迁移

增量实时同步

数据校验

数据订正

DDL实时同步

使用限制与注意点

说明
仅支持 CloudCanal 格式的 topic 数据

作为源端订阅时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 格式

支持的类型与类型映射

RocketMQ 作为源端同步到对端数据库时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 格式,参考:MQ 消息同步格式
CloudCanal 负责写入的数据会包含额外的列类型信息,这样可以确保 Kafka 写入对端数据库时可以根据额外的列类型信息进行类型转换。

必要条件

必要条件说明
账号权限需要管理员账号登录 RocketMQ 管理控制台打开 Topic 的访问创建权限

数据源添加参数说明

项名称说明
网络地址类型分为内网地址和外网地址。一个数据源可以包含一个内网地址和一个外网地址。网络地址格式为 Ip 地址和端口。默认添加的为内网地址,需要添加外网地址可以点击右侧 + 号
认证方式支持选择不同的认证方式,例如有账号无密码或者无账号无密码
账号数据库服务端账号
密码数据库服务端密码
描述非必填项,填写描述信息,方便管理数据源
物理位置物理位置仅仅是一个标记,在管理多地域数据库时方便识别

常用源端任务参数

参数名称说明
consumeParallel消费 MQ 消息并行度

Tips: 所有数据源均有的通用参数配置请参考 通用参数配置