AutoMQ 到 Iceberg

CloudCanal 支持从 AutoMQ 到 Iceberg 的数据迁移、同步、校验和链路能力。

选择对端数据库：

Iceberg

数据链路

基本功能

功能	说明
增量实时同步	支持订阅源端 Topic 的消息，并转换为 INSERT、UPDATE、DELETE DML
修改订阅	新增、删除、修改订阅 Topic，文档：修改订阅
重置位点	按 时间戳 回溯位点，重新消费过去一段时间的数据

高级功能

功能	说明
消息格式	支持以下消息格式，文档：消息格式说明 CloudCanal内置格式 AlibabaCanal兼容格式
写入冲突策略	源端有主键表进行覆盖写入，源端无主键表进行追加写入
自定义表属性	包括 format-version 等属性设置
设置数据分区	创建任务时，可按表粒度指定分区定义（静态或动态），结构迁移时自动添加该分区定义

限制和注意点

限制项	说明
目标端需要提前创建表	仅支持消息自动创建 Topic
原始消息格式	仅支持 AutoMQ 到 AutoMQ，且两端的消息格式都需要选择 原始消息格式

使用示例

标题	详情
CloudCanal x AutoMQ 数据迁移同步	文档：CloudCanal x AutoMQ 数据迁移同步
跨互联网数据互通 (AutoMQ)	文档：跨互联网数据互通 (AutoMQ)
AutoMQ 数据中转校验	文档：AutoMQ 数据中转校验

链路FAQ

• 如何打开 AutoMQ 源端心跳?

---

源端数据源

前置条件

条件	说明
网络准备	迁移同步节点（sidecar）可连接 AutoMQ 各节点

任务参数

参数名称	说明
schemaFormat	MQ 消息格式，文档：消息格式说明
consumerGroupId	AutoMQ 消费组 Id
consumeParallel	消费 AutoMQ 的并行度
sessonTimeoutMs	AutoMQ Session 超时时间（毫秒）
maxPollRecords	AutoMQ 一次最大拉取消息数量

Tips: 通用参数配置请参考 通用参数及功能

---

目标端数据源

前置条件

条件	说明
网络准备	迁移同步节点（sidecar）可连接 Catalog 和 文件存储
Nessie 数据源配置模版	网络地址（CatalogUri）: ip:19120/api/v1 catalogName: nessie catalogType: NESSIE catalogWarehouse: s3://warehouse catalogProps: { "io-impl": "org.apache.iceberg.aws.s3.S3FileIO", "s3.endpoint": "http://ip:9000", "s3.access-key-id": "admin", "s3.secret-access-key": "password", "s3.path-style-access": "true", "client.region": "ap-southeast-1" }
Glue 数据源配置模版	网络地址（CatalogUri）: glue.ap-southeast-1.amazonaws.com httpsEnabled: true catalogName: glue_catalog catalogType: GLUE catalogWarehouse : s3://warehouse catalogProps: { "io-impl": "org.apache.iceberg.aws.s3.S3FileIO", "s3.endpoint": "https://s3.ap-southeast-1.amazonaws.com", "s3.access-key-id": "", "s3.secret-access-key": "", "s3.path-style-access": "true", "client.region": "ap-southeast-1", "client.credentials-provider.glue.access-key-id": "", "client.credentials-provider.glue.secret-access-key": "", "client.credentials-provider": "com.amazonaws.glue.catalog.credentials.GlueAwsCredentialsProvider" }
REST 数据源配置模版	网络地址（CatalogUri）: ip :8181 httpsEnabled: false catalogName: rest_catalog catalogType: REST catalogWarehouse : s3://warehouse catalogProps: { "io-impl": "org.apache.iceberg.aws.s3.S3FileIO", "s3.endpoint": "http://ip:9000", "s3.access-key-id": "admin", "s3.secret-access-key": "password", "s3.path-style-access": "true", "client.region": "us-east-1" }

任务参数

参数名称	说明
fileFormat	写入文件格式（parquet / orc / ... ）
writeTargetFileSizeMb	写入目标文件大小（MB）
writeProps	写入配置参数（Json 格式）
commitBranch	写入提交的分支
totalDataInMemMb	攒批写入，内存中最大数据容量，超过此容量或超过 asyncFlushIntervalSec 则刷出数据到写入队列
asyncFlushIntervalSec	攒批写入，等待刷出的间隔时间，超过此时间或超过 totalDataInMemMb 则刷出数据到写入队列
flushBatchMb	单表最大攒批容量，超过此容量则刷出数据到写入队列
realFlushPauseSec	刷出数据到 Iceberg 的等待时间，0 则不等待

Tips: 通用参数配置请参考 通用参数及功能