MongoDB 到 PolarDb for MySQL

CloudCanal 支持从 MongoDB 到 PolarDb for MySQL 的数据迁移、同步、校验和链路能力。

选择对端数据库：

PolarDb for MySQL

数据链路

基本功能

功能	说明
全量数据迁移	逻辑迁移，通过顺序扫描表数据，将数据分批写入到对端数据库，支持的 _id 类型为 ObjectId、Long、Integer
增量实时同步	支持 INSERT、UPDATE、DELETE 同步
数据校验和订正	全量数据校验，并可选根据校验结果订正差异数据，支持定时，文档：创建定时校验订正任务
修改订阅	新增、删除、修改订阅表，支持历史数据迁移，文档：修改订阅
增量位点回溯	支持按照 时间戳 回溯位点，重新消费过去一段时间的 oplog
部署形态支持	支持 主备、副本集、分片集群

高级功能

功能	说明
增量写入冲突策略	IGNORE: 冲突则忽略（不做写入），REPLACE: 冲突则整行替换
0 值时间处理	支持将 0 值时间设置成不同类型的值，防止写入对端报错

限制和注意点

限制项	说明
oplog 大小和保留时间设置	MongoDB 默认配置 replication.oplogSizeMB 过小 或 storage.oplogMinRetentionHours 过小，如数据同步延迟过大，可能导致未消费的 oplog 被清除，需调大此参数
MongoDB 主备架构的任务设置	源端 MongoDB 主备架构模式，需要将源端任务参数 oplogCollection 设置为 oplog.$main
changeStream 模式	MongoDB 3.6 以上支持 changeStream 获取增量变更，同步任务可以设置源端参数 captureMode 为 CHANGE_STREAM，MongoDB 分片集群可以填写 Mongos 连接串进行同步
oplog 模式	当使用 oplog 模式进行 MongoDB 源端同步时，需要确保该能够访问到 local 库
字符集	支持 utf8, utf8mb4, latin1, 其他编码暂未测试

---

源端数据源

前置条件

条件	说明
账号权限	文档：MongoDB 需要的权限

任务参数

参数名称	说明
captureMode	配置 MongoDB 增量源端模式，支持 OP_LOG 和 CHANGE_STREAM 模式
changeStreamBatchSize	配置 MongoDB Change Stream 每一批拉取变更事件的最大条数
oplogCollection	配置 MongoDB oplog 的集合名，默认是 oplog.rs
timezone	需要转换的源端时区（默认 UTC）

Tips: 通用参数配置请参考 通用参数及功能

---

目标端数据源

前置条件

条件	说明
账号权限	云数据库 读写 权限账号或 高权限 账号
网络准备	迁移同步节点（sidecar）可连接 PolarDbMySQL 标准交互接口（如 3306）

任务参数

参数名称	说明
keyConflictStrategy	增量写入遇到主键冲突策略: IGNORE 冲突忽略（默认） REPLACE 冲突替换（可选）
dstWholeReplace	将 INSERT 和 UPDATE 操作变成对端整行覆盖
mergeMaxInsertSize	当并行策略 mergeMaxInsertSize 为 TABLE_IMPORT_OPTIMIZE 时, 相同表单批最大合并变更数据条数(提升并行度)

Tips: 通用参数配置请参考 通用参数及功能