Skip to main content

增量收不到数据排查

本文介绍使用CloudCanal创建同步任务后增量收不到数据的排查方法。

简述

有时增量任务启动后,会出现位点不动/延迟增大/对端没有增量数据,一般导致这个问题的原因有:

  • 创建任务时忽略了预检错误
  • 创建任务时选择错表,任务没有包含期望的订阅表
  • 手动测试增量任务时,源端未提交事务
  • 任务运行错误

步骤

  1. 如有创建任务时忽略预检,请排除该预检项忽略可能带来的问题。
  2. 查阅订阅表是否正确,打开任务详情>库表映射,查询库表映射是否正确。 daf1358d-2011-45d2-bae6-f585b75b5536-image.png
  3. 排查任务是否报错,打开控制台 监控管理>异常监控,选择任务选项卡,看相应任务是否存在异常。
  4. 如下图所示,如无异常,打开任务详情>查看日志,查阅 apply_commit.log 是否有对端数据写入,其中格式为 .....$库名$写入的主键value$对端写入的响应毫秒数211fd3ea-e23d-4943-8fc7-dc360fe72f00-image.png138bc191-1740-4b99-8154-3987aef866a9-image.png
  5. 如果上述步骤无法自助解决问题,请加群提问,提供以下信息
    • apply_commit.log是否有相关记录信息
    • 丢失数据发生的时间和数据特征值(库.表.主键)
    • 如有源和对端数据库审计日志,请提供写入数据审计日志截图