通用参数说明
CloudCanal 支持配置任务参数,用于控制任务配置、并发、错误处理等。合理配置任务参数能够提升数据同步效率。
CloudCanal 任务参数主要分为任务核心配置、源数据源配置、目标数据源配置、映射配置四类,本文主要对 任务核心配置参数 进行说明,帮助用户快速理解并正确配置参数。
参数说明
参数 | 说明 |
---|---|
specId | 任务规格,即任务进程分配的内存大小,取值为:
|
exceptionSkipMode | 任务异常忽略模式,取值为:
|
ddlExceptionSkip | 是否 忽略对端 DDL 执行异常,取值为:
|
exceptionSkipKeywords | 当 exceptionSkipMode 设为 ApplierHandlerWithKeywords 时,在此配置需要忽略异常的关键字列表,组成一个 json array 字符串。示例: json ["duplicate key value", "deadlock detected"]· |
fullRingBufferSize | 全量阶段环形缓冲队列大小,取值范围为 16~256,需设置成2的指数倍。 适当增大可以增加吞吐和性能。如果设置过大会导致任务负载过高引发性能下降、程序卡顿、通信超时等问题。 |
increRingBufferSize | 增量阶段环形缓冲队列大小,取值范围为 32~512,需设置成2的指数倍。 适当增大可以增加吞吐和性能。如果设置过大会导致任务负载过高引发性能下降、程序卡顿、通信超时等问题。 |
increBatchSize | 增量阶段按批刷出时的批次大小,和 fetchFromBrokerTimeoutMs 配合,哪个阈值先达到则返回。 |
fetchFromBrokerTimeoutMs | 从队列中获取单批事件的超时时间,和 increBatchSize 配合,哪个阈值先达到则返回 |
dataProcessParallel | 用户自定义代码数据处理并行度,取值范围 2~32 |
sysDataProcessParallel | 系统数据处理(映射&数据过滤)并行度,取值范围 2~32 |
sysDataPartitionParallel | 数据写入前预分区并行度,取值范围 2~32 |
actionFilterParallel | 数据操作过滤并行度,取值范围 2~32 |
waitStrategy | 队列写入等待策略,取值为:
|
increLogMinimal | 是否开启最小化增量事件日志,影响以下行事件日志:
|
hotUpdateMerge | 开启单行 update 事件聚合,将同主键的多次 update 事件合并为单次,取值为:
|
enableCommitLog | 增量是否开启对端写入日志,取值为:
|
printKeyConfig | 打印任务关键参数,包含
|
debugMode | 配置开启应用调试模式,取值为:
|
debugPort | 应用调试端口 |
noAutoReboot | 任务非正常退出后,是否自动重启任务,取值为:
|
autoSyncNewCreatedColumn | 增量任务是否自动同步新增的列,取值为:
|
customCodeContext | 自定义代码可传入的上下文,可自定义 |
taskIdxParallel | 计算数据所属任务编号的并行度,取值范围为 0 ~ 8 |
maxDiffAndLoss | 校验任务 所允许的最大差异数据条数,如果超过,则任务报错退出,防止差异数据占用大量硬盘。取值范围为 10000 ~ 1000000,-1 表示不限制。 |
checkFloatNumScale | 只校验浮点类型的后 n 位小数,消除浮点类型差异导致校验不准的问题,小于等于 0 表示不校验浮点数的小数部分。 |
checkTimePrecision | 只校验时间戳类型后 n 位精度,消除两边数据源支持时间精度不一致导致的校验问题,小于等于 0 表示不校验时间戳小于秒的部分。 |
useTypedField | 是否使用强类型数据结构,以支持更多的数据库数据类型,取值为:
|
checkEmptyStringEqualToNull | 校验任务中是否将空字符串和 NULL 视为相等,取值为:
|
checkFixedCharStrategy | 校验任务中对字符串的校验策略, 取值为:
|
useAdvancedMeta | 任务启动时是否查询索引的元数据信息,取值为:
|
llmEmbeddingConfig | 指定用于大模型嵌入的配置 |
llmChatConfig | 指定用于大模型对话的配置 |