跳到主要内容

MySQL 到 ClickHouse (进阶)

简述​

本文简要介绍 CloudCanal 参考 ClickHouse 官方实现的 MaterializeMySQL 表引擎，将 ReplacingMergeTree 作为对端主力表引擎进行数据同步链路构建。

新方案优势包括

  • 表不存在额外的字段
  • 按 order by key 严格合并(单节点)
  • 可以设置按时间间隔自动 optimize 表(autoOptimizeThresholdSec参数)
  • 支持 DDL 同步

技术点​

结构迁移​

目前到 ClickHouse 的结构迁移中，默认选择 ReplacingMergeTree 作为表引擎，源主键作为 sortKey (无主键表则是 tuple)，如下示例:

 CREATE TABLE console.worker_stats
(
    `id` Int64,
    `gmt_create` DateTime,
    `worker_id` Int64,
    `cpu_stat` String,
    `mem_stat` String,
    `disk_stat` String
)
ENGINE = ReplacingMergeTree()
ORDER BY id
SETTINGS index_granularity = 8192

写数据​

新方案全量仍然按照标准 batch 导入，增量和 CollapsingMergeTree 作为表引擎的区别在于

  • 转换 Insert、Update 操作为 Insert
  • Delete 操作单独通过 alter table delete 语句进行操作

所以 Delete 操作如果较多，增量同步性能会急剧下降，建议 delete RPS 不超过 50。

  switch (rowChange.getEventType()) {
            case INSERT:
            case UPDATE: {
                for (CanalRowData rowData : rowChange.getRowDatasList()) {
                    CkTableBatchData.RecordWithState addRecord = new CkTableBatchData.RecordWithState(CanalEventType.INSERT, rowData.getAfterColumnsList());
                    batchData.getRecords().add(addRecord);
                }

                break;
            }
            case DELETE: {
                for (CanalRowData rowData : rowChange.getRowDatasList()) {
                    CkTableBatchData.RecordWithState delRecord = new CkTableBatchData.RecordWithState(CanalEventType.DELETE, rowData.getBeforePkColumnsList());
                    batchData.getRecords().add(delRecord);
                    batchData.setHasDelete(true);
                }
                break;
            }
            default:
                throw new CanalException("not supported event type,eventType:" + rowChange.getEventType());
 }

操作示例​

  • 下载安装 CloudCanal 私有部署版本,使用参见快速上手文档

  • 造 Insert、Update负载，比例为 1:2 mysql_ch_5

  • 添加数据源 mysql_ch_1

  • 创建任务，选择数据源和库，并连接成功

  • ClickHouse 侧点开高级选项，确保 表引擎为 ReplacingMergeTree (ReplicatedReplacingMergeTree)

  • 点击下一步 mysql_ch_2

  • 选择数据同步，建议规格至少选择 1 GB。

  • 目前已经支持 MySQL->ClickHouse DDL 同步, 可默认选中。

  • 点击下一步 mysql_ch_3

  • 选择表、列、创建确认默认下一步。

  • 等待任务自动结构迁移、全量迁移、数据同步追上

  • 打开自动表优化开关，默认设置 30 秒间隔 mysql_ch_4

  • 延迟追平状态，停止负载

  • 等待自动优化间隔时间，创建一个校验任务，跑完结果一致。

  • 也可以等待 ClickHouse 自动优化，但时间不定 mysql_ch_6

常见问题​

新方案还存在什么问题​

目前并未支持集群(distribute 表)，所以如果 ClickHouse 是一个集群，还需要进一步增强。

另外结构迁移和增量对于 partition key 设置的支持，以及其他个性化表结构定义支持，还没有做到位。

还支持其他数据源么​

我们目前收到比较多Kafka、SqlServer、MongoDB、Oracle 到 ClickHouse 的需求，目前 SqlServer 我们目前正在支持中，Kafka 、MongoDB 、Oracle 源端已经支持，打通 ClickHouse 链路我们会在合适的时间同时打开。

总结​

本文简要介绍 CloudCanal 实现 MySQL到 ClickHouse 数据迁移同步的进阶能力，相比于老方案，优势明显。读者朋友们也可以通过 CloudCanal 社区版免费体验。最后，如果各位觉得这篇文章还不错，请点赞、评论加转发吧。