SQLServer
支持的对端数据源及功能
请选择对端数据源,文档相关内容会根据对端数据源不同而调整。
选择对端:SQLServer
核心能力
功能 | SQLServer |
---|---|
结构迁移 | 是 |
全量数据迁移 | 是 |
增量实时同步 | 是 |
数据校验 | 是 |
数据订正 | 否 |
DDL实时同步 | 增/减列 |
使用限制与注意点
项 | 说明 |
---|---|
迁移与同步 | 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据,例如无主键表的迁移与同步 |
CDC表磁盘占用 | CDC 表也是一张普通的表它和用户共享同一个数据空间。为了防止 CDC 表数据无限膨胀 SQL Server 会每天定时执行清理作业,清理过期的数据(具体时间视数据库配置而定) |
大字段类型 | 如果 TEXT、NTEXT、VARCHAR(MAX)、NVARCHAR(MAX)、VARBINARY(MAX)、XML、IMAGE 类型字段中内容大小超过 65536 将会引发 CDC 分析报错。此时需要执行下面 SQL 设置为不限制大小
|
CDC表数据保留时间 | 如果需要位点回溯,需要确保当时时刻的变更事件关联的CDC表存在。可以执行这条 SQL 来增加 CDC 数据的保存时间,代价是这些数据需要存放到数据库表中,如果每日数据变更很多对磁盘开销会有额外的要求。
|
SQL SERVER 代理作业 | SQL SERVER 代理执行作业出现异常导致 CDC 分析中断
|
任务异常/暂停 | 长时间暂停未同步的数据在 CDC 表中被清理也可造成数据丢失,参考:CDC表数据保留时间 |
同步 DDL 模式下 |
|
同步 DDL 支持性 | 对列进行改名或者删除重新添加列会有中断 CDC 的风险 |
字段类型与映射
SQLServer | SQLServer |
---|---|
BIGINT | BIGINT |
BINARY | BINARY |
BIT | BIT |
CHAR | CHAR |
DATE | DATE |
DATETIME | DATETIME |
DATETIME2 | DATETIME2 |
DATETIMEOFFSET | DATETIMEOFFSET |
DECIMAL | DECIMAL |
FLOAT | FLOAT |
IMAGE | IMAGE |
INT | INT |
MONEY | MONEY |
NCHAR | NCHAR |
NTEXT | NTEXT |
NUMERIC | NUMERIC |
NVARCHAR | NVARCHAR |
REAL | REAL |
ROWVERSION | ROWVERSION |
SMALLDATETIME | SMALLDATETIME |
SMALLINT | SMALLINT |
SMALLMONEY | SMALLMONEY |
TEXT | TEXT |
TIME | TIME |
TIMESTAMP | TIMESTAMP |
TINYINT | TINYINT |
UNIQUEIDENTIFIER | UNIQUEIDENTIFIER |
VARBINARY | VARBINARY |
VARCHAR | VARCHAR |
XML | XML |
sysname | sysname |
SQL_VARIANT | SQL_VARIANT |
GEOGRAPHY | GEOGRAPHY |
GEOMETRY | GEOMETRY |
HIERARCHYID | HIERARCHYID |
必要条件
必要条件 | 说明 |
---|---|
账号权限 | 见:SQLserver需要的权限 |
SQLServer CDC |
|
数据源添加参数说明
项名称 | 说明 |
---|---|
网络地址 | 类型分为内网地址和外网地址。一个数据源可以包含一个内网地址和一个外网地址。网络地址格式为ip地址和port。默认添加的为内网地址,需要添加外网地址可以点击右侧+号 |
认证方式 | 支持选择不同的认证方式,例如有账号无密码或者无账号无密码 |
账号 | 数据库服务端账号 |
密码 | 数据库服务端密码 |
描述 | 非必填项,填写描述信息,方便管理数据源 |
物理位置 | 物理位置仅仅是一个标记,在管理多地域数据库时方便识别 |
常用源端任务参数
参数名称 | 说明 |
---|---|
filterDDL | 设置为 true 时将不会同步源端产生的DDL SQL |
scanParallel | 全量阶段:源端并发扫描表数量 、增量阶段:源端并发扫描 CDC 表的数量 |
maxTxsPerIteration | 增量单次最大获取多少事务数 |
iterateIntervalMs | 单次循环最大等待时间 (设置为 true 时有效) |
Tips: 所有数据源均有的通用参数配置请参考 通用参数配置