跳到主要内容

Db2

支持的对端数据源及功能

请选择对端数据源,文档相关内容会根据对端数据源不同而调整。

选择对端:

核心能力

功能MySQL
结构迁移

全量数据迁移

增量实时同步

数据校验

数据订正

DDL实时同步

不支持

使用限制与注意点

说明
迁移与同步

待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据,例如无主键表的迁移与同步

CDC表磁盘占用

CDC 表也是一张普通的表它和用户共享同一个数据空间。为了防止 CDC 表数据无限膨胀 CloudCanal 会每天定时执行清理已提交到对端之的数据(具体清理间隔可参考下方 数据源配置参数:cdcAutoClear、cdcClearIntervalMin)

CDC表数据保留时间
  • 如果需要位点回溯,需要确保当时时刻的变更事件关联的 CDC 表存在。可以执行这条 SQL 来增加 CDC 数据的保存时间,代价是这些数据需要存放到数据库表中,如果每日数据变更很多对磁盘开销会有额外的要求。
  • RETENTION_LIMIT 这个参数的单位是分钟,默认 10080(一个星期)
  • UPDATE ASNCDC.IBMSNAP_CAPPARMS t SET t.RETENTION_LIMIT = 10080
任务异常/暂停

长时间暂停未同步的数据在 CDC 表中被清理也可造成数据丢失,参考:CDC表数据保留时间

任务删除

所创建的任务被删除时,对应任务的 CDC 表裁剪信息会被删除,而 CDC 订阅集和 CDC 表数据不会被删除

同步 DDL 支持性(Beta)

删除重新添加列会有中断 CDC 的风险,并且 DDL 同步需要按照一定的要求进行操作,参考:Db2 增量同步 DDL 执行要求

字段类型与映射

Db2MySQL
BIGINTBIGINT
SMALLINTSMALLINT
INTEGERINTEGER
REALDOUBLE
DOUBLEDOUBLE
DECIMALDECIMAL
CHARACTERCHAR
VARCHARVARCHAR
GRAPHICCHAR
VARGRAPHICVARCHAR
CHAR_FOR_BIT_DATABINARY
VARCHAR_FOR_BIT_DATAVARBINARY
DATEDATE
TIMETIME
TIMESTAMPTIMESTAMP

必要条件

必要条件说明
Db2 归档日志和 Db2 CDC增量需要开启 Db2 归档日志 和 Db2 CDC 捕获程序
账号权限全量迁移:迁移库表的 SELECT 权限和;SYSIBM、SYSIBMADM、SYSCAT 的 SELECT 权限;ASNCDC 的 INSERT / SELECT / DELETE / UPDATE 权限

例:GRANT SELECT ON TABLE SYSIBM.* TO username;

数据源添加参数说明

项目名称说明
网络地址类型分为内网地址和外网地址。一个数据源可以包含一个内网地址和一个外网地址。网络地址格式为ip 地址和 port。默认添加的为内网地址,需要添加外网地址可以点击右侧 + 号
默认数据库db2 指定的默认数据库名
认证方式支持选择不同的认证方式,例如有账号无密码或者无账号无密码
账号数据库服务端账号
密码数据库服务端密码
描述非必填项,填写描述信息,方便管理数据源
物理位置物理位置仅仅是一个标记,在管理多地域数据库时方便识别

数据源额外参数

参数名称说明
filterDDL是否过滤 ddl 同步,默认为 true
metaFreshCoolMsddl 同步时元信息刷新等待毫秒数,默认为 5000
metaFreshCountddl 同步时元信息刷新的次数,默认为 5
cdcAutoClear是否开启自动清理 cd 表的数据,默认为 true
cdcClearIntervalMincd 表的清理间隔(分钟),默认为 720
dbHeartBeatEnable开启源端心跳操作,避免无数据写入时,延迟增大问题

常用源端任务参数

Tips: 所有数据源均有的通用参数配置请参考 通用参数配置