增量收不到数据排查
本文介绍使用CloudCanal创建同步任务后增量收不到数据的排查方法。
简述
有时增量任务启动后,会出现位点不动/延迟增大/对端没有增量数据,一般导致这个问题的原因有:
- 创建任务时忽略了预检错误
- 创建任务时选择错表,任务没有包含期望的订阅表
- 手动测试增量任务时,源端未提交事务
- 任务运行错误
步骤
- 如有创建任务时忽略预检,请排除该预检项忽略可能带来的问题。
- 查阅订阅表是否正确,打开任务详情>库表映射,查询库表映射是否正确。
- 排查任务是否报错,打开控制台 监控管理>异常监控,选择任务选项卡,看相应任务是否存在异常。
- 如下图所示,如无异常,打开任务详情>查看日志,查阅
apply_commit.log
是否有对端数据写入,其中格式为.....$库名$写入的主键value$对端写入的响应毫秒数
- 如果上述步骤无法自助解决问题,请加群提问,提供以下信息
- apply_commit.log是否有相关记录信息
- 丢失数据发生的时间和数据特征值(库.表.主键)
- 如有源和对端数据库审计日志,请提供写入数据审计日志截图