通用任务

CloudCanal 支持创建全量迁移和增量同步一体化任务，包含表结构迁移、全量数据初始化、增量实时同步等多个阶段。

增量实时同步阶段，通过启动位点控制，可确保全量期间产生的增量也完整同步到对端。

本文将介绍如何创建全量迁移和增量同步一体化任务。

选择数据源

1. 点击 同步任务 > 创建任务，进入创建任务流程。

2. 选择任务运行的 绑定集群。

   信息

   如果所选集群有多个节点，CloudCanal 将会启动正常两级容灾调度。如果只有单个节点，CloudCanal 只会执行单级容灾调度。

3. 设置源库和目标库相关信息，选择源端和目标端实例，并分别点击 测试连接。

4. 选择数据库或 Schema 等信息，CloudCanal 支持多 Schema 迁移同步。

5. 点击 下一步。

配置任务

1. 在功能配置页面，选择任务类型。此处以创建全量增量一体化任务为例，选择 增量同步 并勾选 全量初始化。

2. 选择任务规格。

   信息

   规格和计费无关。在机器资源充足的情况下，可选大规格，性能好、稳定性高。任务较多时，考虑到机器利用率，可配置具备特定数据特征的规格。

3. 配置任务相关信息。

   配置项	说明
   是否同步 DDL	是：任务将同步 DDL。 不同步：任务将不同步 DDL。
   是否开启校验	不开启校验：不会校验数据。 开启一次性校验：仅执行一次校验任务。 开启周期性校验：根据设置的周期，定期执行校验任务。

   高级配置：

   配置项	说明
   分区信息迁移	若开启，结构迁移时将同时迁移分区信息。
   全量前清空目标数据	若开启，全量初始化之前将清空目标端数据。
   重建目标表	若开启，任务将自动在目标库重建目标表。
   自动启动任务	开启：默认创建任务后自动启动任务。 关闭：创建任务后，需在同步任务页面手动启动任务。
   启用参数模板	若开启，新建任务将根据所选任务模板中的参数值运行。

4. 点击 下一步。

选择数据表

1. 在表& action 过滤页面，筛选需迁移的表。

   • 批量筛选：在表格左上方下拉框中，可选择 列出所有并全部勾选、列出所有并手动勾选、搜索并手动勾选、按表达式添加。
   • 分类筛选：在下拉框中可按条件筛选表。
   • 精确筛选：在筛选表的输入框内输入表名，并加上分号（半角）。支持输入多个表名，以分号（半角）分割且中间不加空格。
   • 模糊筛选：在筛选表的输入框内输入字符，将筛选出表名包含这些字符的表。
   提示

   点击列表标题行最左侧的勾选框，可以选中当前页的所有表。点击列表左下方 全部选中 勾选框，可以选中所有表。

2. 如需过滤某些 DML/DDL 操作，可在右上方点击 打开操作黑名单。

   • 单独设置：勾选表后，可在 操作黑名单 一栏的下拉框中选择这张表不需要同步的操作。
   • 批量设置：在右上方点击 批量操作 > 操作黑名单，并对所有已勾选的表设置不需要同步的操作。

3. 设置目标表名。

   • 映射规则自动生成：根据映射规则自动生成表名。若修改映射规则，表名会随之变化。
   • 选择已存在的表名：勾选表后，可在 目标表 一列选择将已存在的表名设置为目标表名。
   • 自定义设置：勾选表后，可在 目标表 一列输入自定义表名，并按回车键确定。
   • 批量设置：在右上方点击 批量操作 > 修改目标名称，可统一表名，或为表名添加前缀和后缀。

4. （可选）如需修改目标映射规则，点击 批量操作 > 目标映射规则，做出相应修改。

5. （可选）如需检测所选表中，某些表是否在其他任务中被订阅，可点击 高级功能 > 查看重复订阅。

6. 点击 下一步。

选择列

1. 在数据处理页面左侧可查看所有筛选出的表，可在列表上方的搜索框和输入框内搜索表。

2. 选择并设置要迁移的列。

   • 单独设置：对每张表勾选要迁移的列，并点击 操作 设置过滤条件、对端更新条件、目标主键等。
   • 批量设置：点击右上角 批量操作，批量设置过滤条件、对端更新条件、目标主键等。
     以下为可配置项的说明：

   配置项	说明
   虚拟列	为目标表添加虚拟列，可设置虚拟列的名称、列值、类型和长度。具体操作请参考 虚拟列任务。
   数据清洗	根据内置脚本清洗、转换数据，具体操作请参考 清洗转换数据。
   数据过滤条件	设置数据过滤条件，具体操作请参考 数据过滤任务。
   对端更新条件	设置对端表更新条件。
   宽表	可视化创建宽表，具体操作请参考 可视化构建宽表。
   目标主键	设置目标主键。若源表没有主键，但有唯一键，将自动把唯一键设置为目标主键。具体操作请参考 设置目标主键。
   列裁剪	可批量裁剪列。

3. （可选）支持上传自定义代码，具体操作请参考 自定义代码任务。

4. （可选）如需修改目标映射规则，点击 目标映射规则，做出相应修改。

5. 点击 下一步。

创建确认

1. 在创建确认页面，确认任务信息。

2. 确认无误后，点击 创建任务。

   信息

   若任务创建过程中，对端存在待创建的库、表或列，则任务会自动生成结构迁移阶段，若没有则不会生成。

查看任务

1. 在 同步任务 的任务列表页可查看任务进度。
2. 点击任务列表操作栏中的 详情 进入任务详情页，查看具体任务运行信息。