🎉 CloudCanal 上线 V6.1.0.0:KingbaseES 分区表迁移性能大幅提升
跳到主要内容

AutoMQ 到 OceanBase

CloudCanal 支持从 AutoMQ 到 OceanBase 的数据迁移、同步、校验和链路能力。

选择对端数据库:

数据链路

基本功能

功能说明
增量实时同步

支持订阅源端 Topic 的消息,并转换为 INSERTUPDATEDELETE DML

修改订阅

新增、删除、修改订阅 Topic,文档:修改订阅

重置位点

时间戳 回溯位点,重新消费过去一段时间的数据

高级功能

功能说明
消息格式

支持以下消息格式,文档:消息格式说明

  • CloudCanal内置格式
  • AlibabaCanal兼容格式
全量前清空目标数据

运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力

重建目标表

运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力

高并发行级写入

适配分布式数据库特征,默认采用高并发行级写入策略 (ROW)

增量写入冲突策略

IGNORE: 遇到主键冲突则忽略(不做写入),REPLACE: 遇到主键冲突则整行替换

限制和注意点

限制项说明
目标端需要提前创建表

仅支持消息自动创建 Topic

原始消息格式

仅支持 AutoMQ 到 AutoMQ,且两端的消息格式都需要选择 原始消息格式

OceanBase 版本

当前仅支持 OceanBase for MySQL 版本

OceanBase 数据类型

不支持地理位置类型

使用示例

标题详情
CloudCanal x AutoMQ 数据迁移同步

文档:CloudCanal x AutoMQ 数据迁移同步

跨互联网数据互通 (AutoMQ)

文档:跨互联网数据互通 (AutoMQ)

AutoMQ 数据中转校验

文档:AutoMQ 数据中转校验

主流 RDB 到 OceanBase 迁移同步

文档:RDB 到 OceanBase 迁移同步


源端数据源

前置条件

条件说明
网络准备

迁移同步节点(sidecar)可连接 AutoMQ 各节点

任务参数

参数名称说明
schemaFormat

MQ 消息格式,文档:消息格式说明

consumerGroupId

AutoMQ 消费组 Id

consumeParallel

消费 AutoMQ 的并行度

sessonTimeoutMs

AutoMQ Session 超时时间(毫秒)

maxPollRecords

AutoMQ 一次最大拉取消息数量

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
账号权限

具备 SELECT, INSERT, DELETE, UPDATE, 常见 DDL 权限

网络准备

迁移同步节点(sidecar)可连接 OceanBase 标准交互接口(如 3306)

任务参数

参数名称说明
keyConflictStrategy

增量写入遇到主键冲突策略:

  • IGNORE 冲突忽略(默认)
  • REPLACE 冲突替换(可选)

writeStrategy

对端写入策略,包含

  • ROW (单条,默认选项)
  • MULTI_SQL (多语句)
  • BATCH (批量)

Tips: 通用参数配置请参考 通用参数及功能

联系我们
微信二维码

扫码添加微信,获取技术支持