AutoMQ 到 OceanBase
CloudCanal 支持从 AutoMQ 到 OceanBase 的数据迁移、同步、校验和链路能力。
选择对端数据库:
OceanBase
| 功能 | 说明 |
|---|---|
增量实时同步 | 支持订阅源端 Topic 的消息,并转换为 INSERT、UPDATE、DELETE DML |
修改订阅 | 新增、删除、修改订阅 Topic,文档:修改订阅 |
重置位点 | 按 时间戳 回溯位点,重新消费过去一段时间的数据 |
高级功能
| 功能 | 说明 |
|---|---|
消息格式 | 支持以下消息格式,文档:消息格式说明
|
全量前清空目标数据 | 运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力 |
重建目标表 | 运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力 |
高并发行级写入 | 适配分布式数据库特征,默认采用高并发行级写入策略 (ROW) |
增量写入冲突策略 | IGNORE: 遇到主键冲突则忽略(不做写入),REPLACE: 遇到主键冲突则整行替换 |
限制和注意点
| 限制项 | 说明 |
|---|---|
目标端需要提前创建表 | 仅支持消息自动创建 Topic |
原始消息格式 | 仅支持 AutoMQ 到 AutoMQ,且两端的消息格式都需要选择 原始消息格式 |
OceanBase 版本 | 当前仅支持 OceanBase for MySQL 版本 |
OceanBase 数据类型 | 不支持地理位置类型 |
任务参数
| 参数名称 | 说明 |
|---|---|
schemaFormat | MQ 消息格式,文档:消息格式说明 |
consumerGroupId | AutoMQ 消费组 Id |
consumeParallel | 消费 AutoMQ 的并行度 |
sessonTimeoutMs | AutoMQ Session 超时时间(毫秒) |
maxPollRecords | AutoMQ 一次最大拉取消息数量 |
Tips: 通用参数配置请参考 通用参数及功能