跳到主要内容

通用监控指标

功能说明

CloudCanal任务运行时根据源对端数据源类型不同可以展示不同的监控指标,这些差异性的监控指标(如果有的话)可以参考具官方文档 数据链路-> 源端数据源/对端数据源 下的文档。

除了一些与源对端数据源相关的监控指标,所有CloudCanal任务也共享一些监控指标,这些通用监控指标与他们的运行息息相关,本章节对它们做一些介绍。

操作说明

CloudCanal任务性能指标均以图表展示。最重要的写入速率相关的监控指标在任务详情页底部即可查看。其他监控指标可以在任务详情页选择底部 更多 打开。

不同源对端和任务类型存在性能指标上的一些差异。例如,当前阶段如果是全量,点击更多查看的是全量阶段相关的指标;当前阶段如果是增量阶段,点击更多查看的是增量阶段相关的指标。 image1.png

任务监控指标

术语说明:

  • RPS: 即Record Per Second,每秒处理记录数,在CloudCanal中一条记录主要指数据库表中的一行。

    指标名称可查看指标的阶段指标说明
    全量RPS全量全量阶段每秒处理记录数
    全量对端写入延迟(ms)全量写入对端的延迟,可以理解为写入对端的响应时间,用于衡量对端数据库是否存在写入瓶颈
    全量表级RPS全量全量阶段每张表每秒处理记录数的监控指标
    全量表级迁移进度(%)全量查看全量阶段表级别的迁移进度
    增量任务延迟(ms)增量增量任务对端相比源端的数据延迟,单位ms
    增量RPS增量增量阶段每秒处理记录数
    增量任务延迟(ms)增量写入对端的延迟,可以理解为写入对端的响应时间,用于衡量对端数据库是否存在写入瓶颈
    写入队列等待时间(ns)增量增量阶段内部队列的写入延迟,需要结合其他指标共同查看确认问题。对端写入瓶颈或者内部处理慢都有可能导致队列发布延迟
    增量缓存RPS增量任务内部缓存队列每秒处理记录数
    增量缓存延迟(ms)增量任务内部缓存队列延迟
    内存队列数据个数增量任务内部队列中的数据个数
    校验速率校验校验每秒处理记录数
    订正速率订正订正每秒处理记录数
    任务CPU使用率(%)任意阶段任务进程对CPU的使用率
    任务JVM堆内内存(MB)任意阶段任务进程堆内存占用大小
    任务JVM堆外内存(MB)任意阶段任务进程堆外内存占用大小
    任务JVM GC数任意阶段任务进程垃圾回收的个数,GC次数多则会影响性能或者导致任务卡顿超时,需要考虑适当增大任务规格或者进行一些参数调节减少内存中对象的个数。
    任务JVM GC时间(ms)任意阶段任务进程GC的耗时,GC耗时长则会影响性能导致任务卡顿超时,需要考虑适当增大任务规格或者进行一些参数调节减少内存中对象的个数。