跳到主要内容

StarRocks

选择对端数据库:

数据链路

基本功能

功能说明
结构迁移

如目标不存在所选表,则自动根据源端元数据,结合映射生成对端创建语句并执行创建

全量数据迁移

逻辑迁移,通过顺序扫描表数据,将数据分批写入到对端数据库

修改订阅

新增、删除、修改订阅表,支持历史数据迁移,文档:修改订阅

表名映射

支持 和源端保持一致, 转小写, 转大写, 以'_数字'后缀截取

高级功能

功能说明
全量前清空目标数据

运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力

重建目标表

运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力

增量写入冲突策略

IGNORE: 主键冲突则忽略(不做写入),REPLACE: 主键冲突则整行替换

0 值时间处理

支持将 0 值时间设置成不同类型的值,防止写入对端报错

自定义代码

文档1:创建自定义代码任务
文档2:自定义代码任务 debug
文档3:在自定义代码中打日志

数据过滤条件

支持 WHERE 条件进行数据过滤,内容为 SQL 92 子集,文档:创建数据过滤任务

键值冲突处理

IGNORE: 冲突则忽略(不做写入),REPLACE: 冲突则整行替换

设置目标主键

变更主键为其他字段,方便数据聚合等操作


源端数据源

前置条件

条件说明
账号权限

具备 SELECT 权限

网络准备

迁移同步节点(sidecar)可连接 StarRocks FE QueryPort

任务参数

参数名称说明
fullBatchSize

全量写入对端单批数据条数,对迁移性能影响大

fullPagingCount

关系型数据库源端扫描分页大小

scanParallel

源端扫描并发数,如果数据源类型为关系型数据库,则为并发扫描表数量

minPoolSize

数据源最小连接池大小

maxPoolSize

数据源最大连接池大小

maxWait

数据源连接最大超时时间,单位毫秒

soTimeoutSec

数据源链接 tcp SOCKET TIMEOUT 大小

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
账号权限

文档:MySQL / MariaDB 需要的权限

网络准备

迁移同步节点(sidecar)可连接 MySQL / MariaDB 标准交互接口(如 3306)

任务参数

参数名称说明
keyConflictStrategy

增量写入遇到主键冲突策略:

  • IGNORE 冲突忽略(默认)
  • REPLACE 冲突替换(可选)

dstWholeReplace

将 INSERT 和 UPDATE 操作变成对端整行覆盖

deCycle

双向同步过滤开关,过滤特定标记的 DML/DDL

specialSqlMode

初始化数据库链接时,可以设置特定的 sql mode

defaultGisSRID

设置 GIS 数据类型的 SRID

dstTimeZone

目标端时区,例如 +08:00, Asia/Shanghai, America/New_York等

increParallelApplyStrategy

关系型数据库对端写入数据并行策略:

  • KEY: 以主键进行分区并行写入
  • TABLE: 以表进行分区并行写入
  • KEY_UPGRADE_TABLE: 以主键进行分区并行写入,若有更新唯一键的操作升级为表进行分区写入

Tips: 通用参数配置请参考 通用参数及功能

数据链路

基本功能

高级功能

限制和注意点

使用示例

链路FAQ

源端数据源

前置条件

任务参数

目标端数据源

前置条件

任务参数