跳到主要内容

Doris

必要条件

必要条件说明
账号权限分配的账号请保证有对数据源的元数据查询和读写权限

使用限制与注意点

说明
无主键表不支持同步无主键表

常用对端任务参数

参数名称说明
asyncFlushIntervalSec将内存数据放入真正刷出到数据库的数据队列间隔时间(单位 秒),调节该参数会影响写入频率
realFlushPauseSec真正刷出数据到数据库的停顿时间,以防止刷挂数据库, 0 不停顿(单位 秒)
totalDataInMemMb内存攒批大小满足该阈值时会进行刷出,单位MB
flushBatchMb单张表内存中最大攒批数据大小(单位 MB)
enableEscape开启转义,对于\\n,\\t等特殊字符进行转义后再写入,避免产生非法的写入
enableTimeZoneProcess启用时区转换处理,设置为true后会配合timezone针对时间类型的字段进行自动处理(增加或者减少timezone指定的小时数)
timezone例如设置该设置项为+08:00,则会在原来的时间上增加8小时
formatstreamload写入的模式,默认为json,如果采用csv则需要配合columnSeparator和lineSeparator参数一起工作
columnSeparator列分隔符,format为csv时生效
lineSeparator行分隔符,format为csv时生效

参考资料

链路创建示例