多来源数据汇聚

简介

CloudCanal 近期增强了数据汇聚防重能力，消除各个来源 数据表名冲突、主键/唯一键约束冲突 的可能性。

这个增强具体特性包括:

本文简要介绍上述特性，并使用 MySQL -> StarRocks 作为示例进行能力演示。

为了应对不同场景，不同数据源，CloudCanal 提供了以下虚拟列生成能力，如下表。

同时也支持 单表设置多个虚拟列，针对特定表设置，批量设置。

虚拟列种类	说明	有效的操作
指定具体值	可指定特定的数字、字符串生成新列，写入到对端	INSERT, UPDATE, DELETE
数据迁移或同步时间	以数据到达 CloudCanal 的时间生成新列，写入对端
源端实例ID_SCHEMA_表_主键值	按照源端数据源实例ID，Schema，表和主键值做拼接生成新列，写入对端
源端实例ID_DB_SCHEMA_表_主键值	按照源端数据源实例ID，Catalog，Schema，表和主键值做拼接生成新列，写入对端
源端实例DB_SCHEMA_表_主键值	按照源端数据源 Catalog，Schema，表和主键值做拼接生成新列，写入对端
源端实例SCHEMA_表_主键值	按照源端数据源 Schema，表和主键值做拼接生成新列，写入对端
源端实例表_主键值	按照源端数据源表和主键值做拼接生成新列，写入对端
转换表达式	按照预设的脚本转换数据，支持的转换规则请参考当前支持的脚本

多来源数据汇聚到同一张表，如果存在主键或唯一约束，往往会形成冲突，比较典型的例子如来自各地的 MySQL 数据自带自增主键，汇聚到对端主键即冲突。

为了解决这个问题，我们利用既有的 设定对端主键能力，将其扩展到虚拟列，通过将类似 源端实例ID_SCHEMA_表_主键值 设置成对端主键达成主键或唯一键约束成立。

此能力可针对特定表或批量进行设置。

业务除了汇聚到同一张表的需求，也存在保持源端独立表的需求，这个时候需要解决表名冲突问题。

CloudCanal 针对不同数据源，提供以下几种表名拼接规则，在结构迁移时重命名，并且数据迁移和同步支持此类元数据映射。

表名映射规则	说明
按 SCHEMA_TABLE 拼接(元数据镜像)	按照源端数据源 Schema，表拼接作为对端表名
按 SCHEMA_TABLE 拼接(元数据转小写)	按照源端数据源 Schema，表拼接并转为小写作为对端表名
按 SCHEMA_TABLE 拼接(元数据转大写)	按照源端数据源 Schema，表拼接并转为大写作为对端表名
按 DB_SCHEMA_TABLE 拼接(元数据镜像)	按照源端数据源 Catalog，Schema，表拼接作为对端表名
按 DB_SCHEMA_TABLE 拼接(元数据转小写)	按照源端数据源 Catalog，Schema，表拼接并转为小写作为对端表名
按 DB_SCHEMA_TABLE 拼接(元数据转大写)	按照源端数据源 Catalog，Schema，表拼接并转为大写作为对端表名

此次增强，因为测试时间紧张，我们只开了一批链路，如下列表所示，这些链路均支持上述特性

MySQL -> MySQL, MySQL -> StarRocks, MySQL -> Doris, MySQL -> SelectDB, MySQL -> ClickHouse, MySQL -> PostgreSQL, MySQL -> ORACLE
ORACLE -> StarRocks ,ORACLE -> MySQL
PostgreSQL -> MySQL