Kafka

选择对端数据库：

ClickHouse

数据链路

基本功能

功能	说明
增量实时同步	支持订阅源端 Topic 的消息，并转换为 INSERT、UPDATE、DELETE DML
修改订阅	新增、删除、修改订阅 Topic，文档:修改订阅

高级功能

功能	说明
消息格式	Kafka 源端支持 CloudCanal内置格式、AlibabaCanal兼容格式、DebeziumEnvelope兼容格式，详细格式说明文档:MQ 消息同步格式说明
目标端需要提前创建表	Kafka 到 ClickHouse 不支持自动创建表
追加模式写入	INSERT 和 UPDATE 以追加模式批量写入,DELETE 单独通过 ALTER 方式执行
定时优化表	通过设置 autoOptimizeThresholdSec 参数，定时优化表
数据过滤条件	支持 WHERE 条件进行数据过滤，内容为 SQL 92 子集, 文档:创建数据过滤任务

限制和注意点

限制项	说明
目标端表引擎	仅支持以下表引擎以及对应的源端表类型: MergeTree(无主键表) ReplacingMergeTree(有主键表) ReplicatedMergeTree(无主键表) ReplicatedReplacingMergeTree(有主键表)
数据类型	不支持 BLOB 及衍生类型

---

源端数据源

前置条件

条件	说明
网络准备	迁移同步节点( sidecar )可连接 Kafka 各节点

任务参数

参数名称	说明
schemaFormat	消息格式，文档:消息格式说明
consumerGroupId	Kafka 消费组 Id
consumeParallel	消费 Kafka 的并行度
sessonTimeoutMs	Kafka Session 超时时间(毫秒)
maxPollRecords	Kafka 一次最大拉取消息数量

Tips: 通用参数配置请参考 通用参数及功能

---

目标端数据源

前置条件

条件	说明
账号权限	具备 SELECT, INSERT, 常见 DDL 权限
网络准备	迁移同步节点( sidecar )可连接 ClickHouse 标准交互接口(如 8123)

任务参数

参数名称	说明
multiReplica	是否为多副本集群
clusterName	集群名称，当 multiReplica 为 true, 则自动在 DDL/DML 中加入 ON CLUSTER clusterName 子句
ckTableEngine	当前支持以下表引擎: MergeTree ReplacingMergeTree ReplicatedMergeTree ReplicatedReplacingMergeTree
autoOptimizeThresholdSec	定时优化表( optimize table final )间隔，<=0 则关闭此功能

Tips: 通用参数配置请参考 通用参数及功能

数据链路

基本功能

高级功能

限制和注意点

使用示例

字段类型与映射

链路FAQ

源端数据源

前置条件

任务参数

目标端数据源

前置条件

任务参数