Kafka
必要条件
必要条件 | 说明 |
---|---|
账号权限 | 分配的账号请保证有对消息系统元数据查询和读写权限,请参见:Kafka 所需权限 |
常用对端任务参数
参数名称 | 说明 |
---|---|
acks | Kafka 对端确认写入副本数 |
maxRequestBytes | Kafka 链接最大传输包字节数 |
lingerMs | Kafka 合并发送最大时间 |
ddlTopic | 指定的 DDL 发送的 Topic,该 Topic 会接收该同步任务的所有 DDL 消息 |
高级功能
支持多种消息格式
CloudCanal 写 Kafka 支持以下多种消息格式:
- CloudCanal Json:CloudCanal 默认的消息格式,解析数据库增量日志传输至 Kafka,支持批量消息传输。
- Canal Json:对于 Canal 的兼容格式,数据存储格式为 Canal Json。
- Aliyun DTS Avro:一种数据序列化格式,可以将数据结构或对象转化成便于存储或传输的格式。
- Debezium Envelope:Debezium 官方的 CDC 消息格式,携带 SHEMA 信息,对大数据下游消费友好。
具体格式说明可以参考官方文档 附录 -> Kafka消息同步格式
全库同步
MySQL -> Kafka 的同步链路支持全库同步模式。全库同步允许将源端多个表的数据全部映射到 Kafka 的一个 Topic 中。操作方式如下:
- 在任务创建过程的第一步,选择 MySQL 数据源后点击 高级设置->全库同步,对端选择 Kafka 数据源然后选择默认 Topic,用于接收源端库下所有表的数据。
- 后续任务创建过程则无需配置表映射