跳到主要内容

任务粒度和规格说明

任务粒度

CloudCanal 任务是指对特定数据库完成一种数据搬迁、同步、校验、订正等目标的配置组,通过一组特定进程先后执行完成实际动作

CloudCanal 任务有时候也叫做链路。

单个任务迁移或同步最大和最小数据库范围(粒度)根据不同数据库类型有所区别。具体如下表所示

源端数据库类型单条任务最大颗粒度单条任务最小颗粒度
MySQL多个Schema单个表
Oracle单个Schema单个表
SQLServer单个Schema单个表
DB2单个Schema单个表
PostgreSQL多个Schema单个表
MongoDB多个Schema单个Collection
OceanBase多个Schema单个表
PolarDbX多个Schema单个表
StarRocks多个Schema单个表
Tunnel多个Schema单个表
TiDB多个Schema单个表
Kafka多个Topic单个Topic
RocketMQ多个Topic单个Topic
RabbitMQ多个Queue单个Queue

任务规格

CloudCanal 任务使用一组特定进程先后执行完成数据迁移同步目标时,这些进程运行时内存占用大小的组合叫做规格。

进程类型主要包括全量迁移、增量同步、数据校验、数据订正 4 种。下表简要介绍下这些进程内存配置组成的规格。

规格编号规格系列进程内存大小
1增量增强型全量 1GB,增量 2GB,校验 1GB,订正 1GB
2增量增强型全量 1GB,增量 3GB,校验 1GB,订正 1GB
3增量增强型全量 1GB,增量 4GB,校验 1GB,订正 1GB
4增量增强型全量 2GB,增量 3GB,校验 2GB,订正 2GB
5增量增强型全量 2GB,增量 4GB,校验 2GB,订正 2GB
6全量增强型全量 1GB,增量 0.5GB,校验 1GB,订正 1GB
7全量增强型全量 2GB,增量 0.5GB,校验 2GB,订正 2GB
8全量增强型全量 3GB,增量 0.5GB,校验 3GB,订正 3GB
9全量增强型全量 4GB,增量 0.5GB,校验 4GB,订正 4GB
10全量增强型全量 2GB,增量 1GB,校验 2GB,订正 2GB
11全量增强型全量 3GB,增量 1GB,校验 3GB,订正 3GB
12全量增强型全量 4GB,增量 1GB,校验 4GB,订正 4GB
13全量增强型全量 3GB,增量 2GB,校验 3GB,订正 3GB
14全量增强型全量 4GB,增量 2GB,校验 4GB,订正 4GB
15平衡型全量 1GB,增量 1GB,校验 1GB,订正 1GB
16平衡型全量 2GB,增量 2GB,校验 2GB,订正 2GB
17平衡型全量 3GB,增量 3GB,校验 3GB,订正 3GB
18平衡型全量 4GB,增量 4GB,校验 4GB,订正 4GB
19平衡型全量 0.5GB,增量 0.5GB,校验 0.5GB,订正 0.5GB
20增量增强型全量 2GB,增量 5GB,校验 2GB,订正 2GB
21增量增强型全量 2GB,增量 6GB,校验 2GB,订正 2GB
22增量增强型全量 2GB,增量 7GB,校验 2GB,订正 2GB
23增量增强型全量 2GB,增量 8GB,校验 2GB,订正 2GB
24增量增强型全量 2GB,增量 12GB,校验 2GB,订正 2GB
25增量增强型全量 2GB,增量 16GB,校验 2GB,订正 2GB
26增量增强型全量 2GB,增量 20GB,校验 2GB,订正 2GB
27全量增强型全量 8GB,增量 2GB,校验 2GB,订正 2GB
28全量增强型全量 16GB,增量 2GB,校验 2GB,订正 2GB

需要注意的点:

  • 建议使用编号为 16 的平衡型规格,能满足大部分要求
  • 0.5GB 内存关联的规格不建议在生产使用
  • 编辑订阅生成的子任务会自动继承主任务的规格
  • 通过修改参数修改规格,编号范围为 15/16/17/18/19/20/21/22/23/24/25/26
  • 增量任务会预占用机器内存(逻辑),单次全量/校验任务完成后会释放占用的内存(逻辑)