虚拟列任务
CloudCanal 支持在任务创建过程中为目标端添加虚拟列,以实现多来源数据汇聚等目标。
本文简要介绍如何在创建任务时添加虚拟列。
支持的虚拟列
| 虚拟列种类 | 说明 | 有效的操作 |
|---|---|---|
| 指定具体值 | 可指定特定的数字、字符串生成新列,写入到对端 | INSERT, UPDATE, DELETE |
| 数据迁移或同步时间 | 以数据到达 CloudCanal 的时间生成新列,写入对端 | |
| 源端实例ID_SCHEMA_表_主键值 | 按 照源端数据源 实例ID,Schema,表 和 主键值 做拼接生成新列,写入对端 | |
| 源端实例ID_DB_SCHEMA_表_主键值 | 按照源端数据源 实例ID,Catalog,Schema,表 和 主键值 做拼接生成新列,写入对端 | |
| 源端实例DB_SCHEMA_表_主键值 | 按照源端数据源 Catalog,Schema,表 和 主键值 做拼接生成新列,写入对端 | |
| 源端实例SCHEMA_表_主键值 | 按照源端数据源 Schema,表 和 主键值 做拼接生成新列,写入对端 | |
| 源端实例表_主键值 | 按照源端数据源 表 和 主键值 做拼接生成新列,写入对端 | |
| 转换表达式 | 按照预设的脚本转换数据,支持的转换规则请参考 当前支持的脚本 |
操作步骤
选择数据源
- 点击 同步任务 > 创建任务,进入创建任务流程。
- 设置源库和目标库相关信息,选择源端和目标端实例,并分别点击 测试连接。
- 选择数据库或 Schema 等信息,部分链路支持多 Schema。
- 点击 下一步。
配置任务
- 在功能配置页面,选择任务类型。默认选择 增量同步 并勾选 全量初始化。
- 选择任务规格。默认规格适配大部分场景。
- 点击 下一步。
选择数据表
- 在表 & action 过滤页面,选择要迁移的表。
- 在表格右上方点击 打开操作黑名单,可过滤各类 DML/DDL 操作。
- 点击 下一步。
选择列
- 在数据处理页面的左侧选择一张表,并勾选要迁移的列。
- 添加虚拟列:
- 单独设置:在左侧点击 操作 > 虚拟列,为这张表设置虚拟列的名称、值、类型、长度等信息。
- 批量操作:在右上角点击 批量操作 > 虚拟列,为多张表统一设置虚拟列的名称、值、类型、长度等信息。
信息
- 支持对一张表添加多个虚拟列。
- 如果对端不存在相应表,CloudCanal 进行结构迁移时会自动创建虚拟列;如果对端已存在相应表,则需要先自行在对端创建相应的虚拟列,再进行虚拟列设置。
创建确认
- 在创建确认页面,确认任务信息。
- 确认无误后,点击 创建任务。
查看任务
- 在 同步任务 的任务列表页可查看任务进度。
- 点击任务列表操作栏中的 详情 进入任务详情页,查看具体任务运行信息。
