使用任务组
CloudCanal 支持任务组概念,相同业务属性的多个任务可放入一个任务组内,方便管理和操作。
功能简介
任务组是包含有业务相关性、功能相关性的一组任务,当前支持 业务组 和 并行组 两种类型。
业务组
在此类型任务组内,任务并不要求强关联,可以定义为某一个团队的任务,某一个应用的任务,或者具备某一个相似功能的任务。
例如,多个任务共同消费同一个消息中间件相同 topic 列表的消息,则可将这些任务归为一个任务组。
并行组
此类型任务组创建时需要设定 并行度,且后续添加的任务数量不允许超过该值。
当任务加入到并行组时,系统自动为该任务分配一个序号。任务运行时,自动进行 hash(主键) mod 并行度 == 当前任务序号 的数据过滤。
通过此过滤操作,各任务仅消费任务所属部分数据,增强迁移同步性能。
信息
请确保并行组内的任务数与设置的并行度保持一致。若组内任务数小于设置的并行度,数据迁移同步时,未分配序号所属任务应该迁移同步的数据会缺失。
功能约束
- 单个任务组当前不允许添加超过 10 个任务。
- 任务组中已存在的任务无法重复加入。
- 若删除任务,将自动解除与任务组的关联。
- 并行任务组内的任务数不允许超过所设定的并行度。
- 并行任务组的并行度不允许超过单个任务组最大任务数(当前为 10)。
操作步骤
创建任务组
- 在 同步任务 列表页,点击右上角 高级功能 > 管理任务组。
- 在 管理任务组 页面,点击右上角 创建任务组。
- 选择任务组类型,并填写相应信息,确认创建。
加入任务组
- 在 同步任务 列表页,点击对应任务操作栏中 更多 > 加入任务组。
- 选择需加入的任务组,点击 确定。
- 在 管理任务组 页面,可查看任务组内的任务。
移出任务组
在 管理任务组 页面,点击对应任务操作栏中 移出任务组,则该任务将解除与任务组的关联。