Skip to main content

任务高级配置

自动创建库表列​

CloudCanal支持自动创建库表列。选中源端后如果对端没有对应映射规则的库表列，页面会出现 待创建 的黄色字样，代表任务创建后，CloudCanal为自动 为该任务生成一个结构迁移任务，并自动创建 待创建 的库表列。

目前仅支持自动创建对应映射规则的库表列名称，暂不支持自定义名称。

映射规则​

创建任务过程中，CloudCanal会根据对应的映射规则自动匹配对端的库表列。不同的链路有不同的映射规则，大多数为默认同名映射。如存在多个映射规则，则支持手动选择规则，CloudCanal 会自动根据规则匹配对应的库表列名称。

如该映射规则不符合你的需求，可以手动选择对端的库表列进行映射。

全库同步​

CloudCanal支持 白名单同步 模式和 全库同步 模式，默认为 白名单同步 模式。

白名单同步 指只同步在创建任务时选择的表，如同步过程中有新增表则不同步。

全库同步 指完全同步全库，新增表也会同步。

  • 选中源端的 高级配置
  • 选择 全库同步
  • 选择要同步的库
  • 点击下一步，配置任务
  • 点击 创建任务， 任务创建完成

树形模式​

数据库映射支持普通模式和树形模式两种。树形模式用于需要选择很多库的场景，方便选库。但树形模式与全库同步没有关系，如需全库同步请看 全库同步 。

数据校验​

CloudCanal目前支持定时对数据进行全量的校验。可以创建单独的数据校验任务，也可以在功能配置页面 是否开启校验 选项处进行配置。

创建成功后，页面上会出现数据校验任务。如果是一次性的，会立即开始校验。如果是定时的，则会在特定时间进行校验并自动等待下一次。

校验完成后，会出现校验的统计信息。如需查看详细的校验结果，可以去 任务详情 - 查看日志 进行查看。

数据订正​

CloudCanal目前支持定时对数据进行全量的订正。创建任务时类型选择 数据订正 即可创建数据订正任务。

创建成功后，页面上会出现数据订正任务，并开始执行。

ddl同步​

支持ddl同步的链路，默认在创建任务第二步会选中同步，在增量同步阶段，若源端发生结构变更，该变更将会同步到对端。

如在任务进行中需调整ddl同步的策略，参见参数修改

action过滤​

CloudCanal支持对数据进行action过滤，主要应用于增量同步阶段。部分链路目前除了支持dml的action过滤，还支持ddl的action过滤。 默认选中所有的action，可以根据需求勾掉一些action操作。支持表级别和库级别的配置。

数据筛选​

CloudCanal支持设置where条件来进行数据筛选。

  • 在数据处理步骤，选择需要添加虚拟列的表，点击 操作， 点击 where条件
  • 写入正确的where条件
  • 点击 确认，添加成功

批量设置where条件​

  • 如需批量操作，点击 批量操作 - 批量添加where条件
  • 写入正确的where条件，并点击 查找有以上列的表，勾选需要设置的表
  • 点击 确认，修改成功

设置目标主键​

CloudCanal默认源端主键与目标端主键一致，如果目标端的主键与源端不一致，可以手动设置目标主键。另外，如果是无主键表，系统会默认将目标端的唯一索引设置为目标主键。

  • 在数据处理步骤，选择需要修改的表，确认当前的主键是否是正确的目标端主键，主键右侧会有一个🔑的标记
  • 点击 操作 - 修改目标主键
  • 选择需要修改为目标主键的列
  • 点击 确认，修改成功，设置完的目标主键列右侧出现🔑的标记。

批量设置目标主键​

  • 如需批量操作，点击 批量操作 - 批量设置目标主键
  • 选择需要设置的列，并查找有该列的表，勾选需要设置的表
  • 点击 确认，修改成功，设置完的所有勾选的表的目标主键列右侧出现🔑的标记。

虚拟列​

创建任务时，如果想在创建一列或多列有固定值且源端不存在的列，除了使用自定义代码外，也可以在页面上直接使用 虚拟列 的功能。

  • 在数据处理步骤，选择需要添加虚拟列的表，点击 操作， 点击 虚拟列
  • 输入需要添加的虚拟列，如果是目标端已经存在的列，则会自动填充相关信息。如果是新增列，则需要填写完整的列信息
  • 填写该列的值
  • 点击 确定， 添加成功。页面出现虚拟列信息

创建相似任务​

当感觉手动创建一个相同或相似的任务过于繁琐时，可以在任务详情页点击 功能列表 - 创建相似任务 ，系统将会读取该任务的配置，直接在新疆任务过程中 进行赋值，免去了重复选择、分时费力的操作。也可以基于原任务的配置进行适当修改。

重启历史记录​

如想查看任务重启过的历史，可在任务详情页点击 功能列表 - 重启任务历史 。

回溯位点​

在增量同步阶段，如需重新同步前一段时间的数据，可以进行回溯位点。如不想跳过某段时间的数据，可以先 重置位点，将位点设置为当前时间， 再进行位点回溯。

  • 任务处于增量同步阶段时，停止任务
  • 点击 回溯位点
  • 选择 位点类型，并填写相关的位点信息
  • 点击 确定 ， 位点已成功回溯
  • 启动任务，任务将按设置完的位点进行同步

大小写不敏感​

目前仅支持目标端为PostgreSQL或Greenplum时，支持手动指定对端大小写是否敏感。默认选中大小写不敏感，当选择大小写不敏感时，对端库、表、列会自动映射成全小写。 其余链路会根据系统获取的参数，自动分辨映射是否需要转小写。