Kafka
支持的对端数据源及功能
请选择对端数据源,文档相关内容会根据对端数据源不同而调整。
选择对端:Kafka
核心能力
功能 | Kafka |
---|---|
结构迁移 | 否 |
全量数据迁移 | 否 |
增量实时同步 | 是 |
数据校验 | 否 |
数据订正 | 否 |
DDL实时同步 | 否 |
使用限制与注意点
项 | 说明 |
---|---|
仅支持 CloudCanal 格式的消息格式 | 作为源端订阅时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 消息格式 |
支持的类型与类型映射
Kafka 作为源端同步到对端数据库时,Topic 内的数据必须是通过 CloudCanal 写入,并且采用 CloudCanal 格式,参考:Kafka 消息格式。
CloudCanal 负责写入的数据会包含额外的列类型信息,这样可以确保 Kafka 写入对端数据库时可以根据额外的列类型信息进行类型转换。
必要条件
必要条件 | 说明 |
---|---|
账号权限 | 需要有 Topic 的访问创建权限,请参见:Kafka 所需权限 |
数据源添加参数说明
项名称 | 说明 |
---|---|
网络地址 | 类型分为内网地址和外网地址。一个数据源可以包含一个内网地址和一个外网地址。网络地址格式为 Ip 地址和端口。默认添加的为内网地址,需要添加外网地址可以点击右侧 + 号 |
认证方式 | 支持选择不同的认证方式,例如有账号无密码或者无账号无密码。自建 Kafka 支持 TLS 或者 Kerberos 的连接方式,需要填写额外信息以及上传鉴权使用的文件。 |
客户端 TrustStore 密码 | 认证方式为 TLS 时需要的必填信息 |
SSL 配置文件 | 认证方式为 TLS 时需要的必填信息 |
Kerberos 配置文件 | 认证方式为 Kerberos 时需要的必填信息 |
Keytab 文件 | 认证方式为 Kerberos 时需要的必填信息 |
账号 | 数据库服务端账号 |
密码 | 数据库服务端密码 |
描述 | 非必填项,填写描述信息,方便管理数据源 |
物理位置 | 物理位置仅仅是一个标记,在管理多地域数据库时方便识别 |
常用源端任务参数
参数名称 | 说明 |
---|---|
sessonTimeoutMs | 组协调器认为消费组存活的期限 |
maxPollRecords | Kafka 一次最大拉取消息数量 |
reconnectBackoffMs | Kafka 链接重连回退时间(ms) |
Tips: 所有数据源均有的通用参数配置请参考 通用参数配置
高级功能
跨互联网数据互通
Kafka 作为源端一个主要应用场景就是支持跨互联网的两个数据源进行安全的数据迁移同步,数据源访问端口无需暴露到公网。具体应用案例参考:跨互联网数据互通(Kafka)