🎉 CloudCanal 上线 V6.1.0.0:KingbaseES 分区表迁移性能大幅提升
跳到主要内容

SQL Server 到 Tunnel

CloudCanal 支持从 SQL Server 到 Tunnel 的数据迁移、同步、校验和链路能力。

选择对端数据库:

数据链路

基本功能

功能说明
结构迁移

如目标不存在所选表,则自动根据源端元数据,结合映射生成对端创建语句并执行创建

全量数据迁移

逻辑迁移,通过顺序扫描表数据,将数据分批写入到对端数据库

增量实时同步

支持 INSERT, UPDATE, DELETE 常见 DML 同步
无主键表 UPDATE, DELETE 不同步(需手动勾选)

表名映射

支持 和源端保持一致, 转小写, 转大写, 以'_数字'后缀截取

DDL 同步

ALTER TABLE ADD COLUMN, DROP COLUMN

高级功能

功能说明
自定义代码

文档1:创建自定义代码任务
文档2:自定义代码任务 debug
文档3:在自定义代码中打日志

设置目标主键

变更主键为其他字段,方便数据聚合等操作

数据过滤条件

支持 WHERE 条件进行数据过滤,内容为 SQL 92 子集,文档:创建数据过滤任务

使用示例

标题详情
跨互联网数据同步

文档:跨互联网数据同步

跨互联网数据同步进阶

文档:跨互联网数据同步进阶


源端数据源

前置条件

条件说明
账号权限

文档:SQL Server 需要的权限

开启 SQL Server CDC

exec [你的数据库].sys.sp_cdc_enable_db

任务参数

参数名称说明
maxTxsPerIteration

SQL Server 增量源端 CDC 每次最大扫描事务数

scanParallel

全量阶段:并发扫描表数量
增量阶段:并发扫描 CDC 表数量

eventStoreSize

缓存解析完毕的增量事件缓存大小

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
网络准备

若 CloudCanal 为 docker 版本,解压后需要修改 docker-compose.yml 端口映射再安装/升级,并开放 ECS 安全组相关端口,以便远程连接

任务参数

参数名称说明
writeParallel

对端写入并发数,对迁移或者同步性能影响大

batchWriteSize

消息内最大记录条数

deCycle

是否开启防循环逻辑

deCycleFlag

默认防循环标记

protocol

Tunnel 传输数据使用的交互协议,目前支持 HTTP

uriPrefix

Tunnel 数据源 uri 前缀

contentCompressType

Tunnel 数据源的数据压缩类型,目前支持 DeInflater / GZIP

dbs

数据源结构定义

printDataInLog

是否将关键数据打印到日志以方便排查问题,此选项打开可能影响性能和数据安全

schemaFormat

Value Schema 类型

printCustomCodeDebugLog

打印自定义代码DEBUG日志(会打印处理前后数据,同步量大会增加磁盘使用和影响同步性能,请知悉),该参数动态生效,不需要重启任务

Tips: 通用参数配置请参考 通用参数及功能

联系我们
微信二维码

扫码添加微信,获取技术支持