ClickHouse
选择对端数据库:
ClickHouse
| 功能 | 说明 |
|---|---|
结构迁移 | 如目标不存在所选表,则自动根据源端元数据,结合映射生成对端创建语句并执行创建 |
全量数据迁移 | 逻辑迁移,通过顺序扫描表数据,将数据分批写入到对端数据库 |
数据校验 | 全量数据校验, 并支持定时 |
修改订阅 | 新增、删除、修改订阅表,支持历史数据迁移,文档:修改订阅 |
表名映射 | 支持 和源端保持一致, 转小写, 转大写, 以'_数字'后缀截取 |
高级功能
| 功能 | 说明 |
|---|---|
追加模式写入 | INSERT 和 UPDATE 以追加模式批量写入, DELETE 单独通过 ALTER 方式执行 |
定时优化表 | 通过设置 autoOptimizeThresholdSec 参数,定时优化表 |
定时全量迁移 | 文档1:创建定时全量任务 |
自定义代码 | 文档1:创建自定义代码任务 |
数据过滤条件 | 支持 WHERE 条件进行数据过滤,内容为 SQL 92 子集,文档:创建数据过滤任务 |
设置目标主键 | 变更主键为其他字段,方便数据聚合等操作 |
限制和注意点
| 限制项 | 说明 |
|---|---|
特殊操作 | DELETE 操作过多(>50 条/秒)将大幅影响数据同步性能 |
目标端表引擎 | 仅支持以下表引擎以及对应的源端表类型:
|
任务参数
| 参数名称 | 说明 |
|---|---|
enableSelectFinal | 是否开启 ClickHouse 的 SELECT FINAL 功能,默认为 false |
fullFetchSize | 全量扫描数据设置的 fetch size,默认为 8192 |
Tips: 通用参数配置请参考 通用参数及功能
任务参数
| 参数名称 | 说明 |
|---|---|
multiReplica | 是否为多副本集群 |
clusterName | 集群名称,当 multiReplica 为 true, 则自动在 DDL/DML 中加入 ON CLUSTER clusterName 子句 |
ckTableEngine | 当前支持以下表引擎:
|
autoOptimizeThresholdSec | 定时优化表(optimize table final)间隔,<=0 则关闭此功能 |
Tips: 通用参数配置请参考 通用参数及功能
