跳到主要内容

Kafka

支持的对端数据源及功能

请选择对端数据源,文档相关内容会根据对端数据源不同而调整。

选择对端:

核心能力

功能Kafka
结构迁移

全量数据迁移

增量实时同步

数据校验

数据订正

DDL实时同步

使用限制与注意点

说明
仅支持 CloudCanal 格式的消息格式

作为源端订阅时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 消息格式

支持的类型与类型映射

Kafka 作为源端同步到对端数据库时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 格式,参考:Kafka 消息格式
CloudCanal 负责写入的数据会包含额外的列类型信息,这样可以确保 Kafka 写入对端数据库时可以根据额外的列类型信息进行类型转换。

必要条件

必要条件说明
账号权限需要有 Topic 的访问创建权限,请参见:Kafka 所需权限

数据源添加参数说明

项名称说明
网络地址类型分为内网地址和外网地址。一个数据源可以包含一个内网地址和一个外网地址。网络地址格式为 Ip 地址和端口。默认添加的为内网地址,需要添加外网地址可以点击右侧 + 号
认证方式支持选择不同的认证方式,例如有账号无密码或者无账号无密码。自建 Kafka 支持 TLS 或者 Kerberos 的连接方式,需要填写额外信息以及上传鉴权使用的文件。
客户端 TrustStore 密码认证方式为 TLS 时需要的必填信息
SSL 配置文件认证方式为 TLS 时需要的必填信息
Kerberos 配置文件认证方式为 Kerberos 时需要的必填信息
Keytab 文件认证方式为 Kerberos 时需要的必填信息
账号数据库服务端账号
密码数据库服务端密码
描述非必填项,填写描述信息,方便管理数据源
物理位置物理位置仅仅是一个标记,在管理多地域数据库时方便识别

常用源端任务参数

参数名称说明
sessonTimeoutMs组协调器认为消费组存活的期限
maxPollRecordsKafka 一次最大拉取消息数量
reconnectBackoffMsKafka 链接重连回退时间(ms)

Tips: 所有数据源均有的通用参数配置请参考 通用参数配置

高级功能

跨互联网数据互通

Kafka 作为源端一个主要应用场景就是支持跨互联网的两个数据源进行安全的数据迁移同步,数据源访问端口无需暴露到公网。具体应用案例参考:跨互联网数据互通(Kafka)

参考资料

相关案例