跳到主要内容

通用参数说明

CloudCanal 支持配置任务参数,用于控制任务配置、并发、错误处理等。合理配置任务参数能够提升数据同步效率。

CloudCanal 任务参数主要分为任务核心配置、源数据源配置、目标数据源配置、映射配置四类,本文主要对 任务核心配置参数 进行说明,帮助用户快速理解并正确配置参数。

参数说明

参数说明
specId任务规格,即任务进程分配的内存大小,取值为:
  • 15:占用 1GB 内存
  • 16:占用 2GB 内存
  • 17:占用 3GB 内存
  • 18:占用 4GB 内存
  • 19:占用 512MB 内存
  • 20:占用 5GB 内存
  • 21:占用 6GB 内存
  • 22:占用 7GB 内存
  • 23:占用 8GB 内存
  • 24:占用 12GB 内存
  • 25:占用 16GB 内存
  • 26:占用 20GB 内存
exceptionSkipMode任务异常忽略模式,取值为:
  • NONE:不忽略异常
  • ApplierHandlerException:忽略增量日志解析异常(目标端写入出错时跳过该条记录继续执行)
  • ApplierHandlerWithKeywords:按异常消息中的关键字忽略异常(仅当异常消息包含指定关键字时才忽略)
  • ALL:忽略所有已知异常类型(高风险模式,仅在测试或数据一致性要求不高的场景使用)
ddlExceptionSkip是否忽略对端 DDL 执行异常,取值为:
  • true:忽略
  • false:不忽略
exceptionSkipKeywordsexceptionSkipMode 设为 ApplierHandlerWithKeywords 时,在此配置需要忽略异常的关键字列表,组成一个 json array 字符串。
示例:json ["duplicate key value", "deadlock detected"]·
fullRingBufferSize全量阶段环形缓冲队列大小,取值范围为 16~256,需设置成2的指数倍。
适当增大可以增加吞吐和性能。如果设置过大会导致任务负载过高引发性能下降、程序卡顿、通信超时等问题。
increRingBufferSize增量阶段环形缓冲队列大小,取值范围为 32~512,需设置成2的指数倍。
适当增大可以增加吞吐和性能。如果设置过大会导致任务负载过高引发性能下降、程序卡顿、通信超时等问题。
increBatchSize增量阶段按批刷出时的批次大小,和 fetchFromBrokerTimeoutMs 配合,哪个阈值先达到则返回。
fetchFromBrokerTimeoutMs从队列中获取单批事件的超时时间,和 increBatchSize 配合,哪个阈值先达到则返回
dataProcessParallel用户自定义代码数据处理并行度,取值范围 2~32
sysDataProcessParallel系统数据处理(映射&数据过滤)并行度,取值范围 2~32
sysDataPartitionParallel数据写入前预分区并行度,取值范围 2~32
actionFilterParallel数据操作过滤并行度,取值范围 2~32
waitStrategy队列写入等待策略,取值为:
  • BlockingWaitStrategy:阻塞等待
  • SleepingWaitStrategy:睡眠等待(默认值)
  • BusySpinWaitStrategy:自旋等待
  • YieldingWaitStrategy:让步等待
  • LiteTimeoutBlockingWaitStrategy:轻量超时阻塞等待
  • LiteBlockingWaitStrategy:轻量阻塞等待
  • TimeoutBlockingWaitStrategy:超时阻塞等待
increLogMinimal是否开启最小化增量事件日志,影响以下行事件日志:
  • update:去除未变化字段数据
  • delete:去除事件除主键之外字段
取值为:
  • true:开启最小化日志
  • false:不开启最小化日志
hotUpdateMerge开启单行 update 事件聚合,将同主键的多次 update 事件合并为单次,取值为:
  • true:开启
  • false:不开启
enableCommitLog增量是否开启对端写入日志,取值为:
  • true:开启日志
  • false:不开启日志
建议开启,有助于排查性能问题
printKeyConfig打印任务关键参数,包含
  • 数据库表源对端映射关系
取值为:
  • true:开启
  • false:不开启
debugMode配置开启应用调试模式,取值为:
  • true:开启
  • false:关闭
debugPort应用调试端口
noAutoReboot任务非正常退出后,是否自动重启任务,取值为:
  • true:开启
  • false:关闭
autoSyncNewCreatedColumn增量任务是否自动同步新增的列,取值为:
  • true:自动同步
  • false:不自动同步
customCodeContext自定义代码可传入的上下文,可自定义
taskIdxParallel计算数据所属任务编号的并行度,取值范围为 0 ~ 8
maxDiffAndLoss校验任务所允许的最大差异数据条数,如果超过,则任务报错退出,防止差异数据占用大量硬盘。取值范围为 10000 ~ 1000000,-1 表示不限制。
checkFloatNumScale只校验浮点类型的后 n 位小数,消除浮点类型差异导致校验不准的问题,小于等于 0 表示不校验浮点数的小数部分。
checkTimePrecision只校验时间戳类型后 n 位精度,消除两边数据源支持时间精度不一致导致的校验问题,小于等于 0 表示不校验时间戳小于秒的部分。
useTypedField是否使用强类型数据结构,以支持更多的数据库数据类型,取值为:
  • true:开启
  • false:关闭
checkEmptyStringEqualToNull校验任务中是否将空字符串和 NULL 视为相等,取值为:
  • true:相等
  • false:不相等
checkFixedCharStrategy校验任务中对字符串的校验策略, 取值为:
  • TRIM_START:忽略字符串开头的空格
  • TRIM_END:忽略字符串结尾的空格
  • TRIM:忽略字符串开头和结尾的空格
  • NO_TRIM:直接比较,不忽略任何内容
useAdvancedMeta任务启动时是否查询索引的元数据信息,取值为:
  • true:查询
  • false:不查询
llmEmbeddingConfig指定用于大模型嵌入的配置
llmChatConfig指定用于大模型对话的配置

常用功能参数设置

联系我们
微信二维码

扫码添加微信,获取技术支持