Oracle
| 功能 | 说明 |
|---|---|
结构迁移 | 如目标不存在所选表，则自动根据源端元数据，结合映射生成对端创建语句并执行创建 |
全量数据迁移 | 逻辑迁移，通过顺序扫描表数据，将数据分批写入到对端数据库 |
增量实时同步 | 支持 INSERT, UPDATE, DELETE 常见 DML 同步 |
数据校验和订正 | 全量数据校验，并可选根据校验结果订正差异数据，支持定时，文档：创建定时校验订正任务 |
修改订阅 | 新增、删除、修改订阅表，支持历史数据迁移，文档：修改订阅 |
重置位点 | 按 时间戳 或 Scn 回溯位点，重新消费过去一段时间 Oracle Redo Log |
表名映射 | 支持 和源端保持一致, 转小写, 转大写, 以'_数字'后缀截取 |
元数据检索 | 从源端表查对端，查询设置过过滤条件的 |
高级功能
| 功能 | 说明 |
|---|---|
自动建字典 | 如果使用离线字典解析 Oracle Redo, 则在创建任务时自动创建字典 |
全量前清空目标数据 | 运行全量任务前清除老数据，包括重跑任务、定时全量迁移都会触发此能力 |
重建目标表 | 运行全量任务前重建目标表，包括重跑任务、定时全量迁移都会触发此能力 |
Stream Load 数据写入 | 采用 Stream Load 到 Doris / SelectDB be 写入数据, 默认攒批写入，可动态调节刷出数据节奏和批次大小 |
0 值时间处理 | 支持将 0 值时间设置成不同类型的值，防止写入对端报错 |
自定义表属性 | 包括分桶数、副本数等属性设置 |
自定义代码 | 文档1：创建自定义代码任务 |
添加虚拟列 | 支持添加自定义的虚拟列，指定的值为固定值，如区域、编号等 |
设置目标主键 | 变更主键为其他字段，方便数据聚合等操作 |
数据过滤条件 | 支持 WHERE 条件进行数据过滤，内容为 SQL 92 子集，文档：创建数据过滤任务 |
限制和注意点
| 限制项 | 说明 |
|---|---|
增量同步性能 | 因 Logminer 有性能上限，且 CloudCanal 未采用并行分析，所以以 3000 条变更/秒 为性能基准 |
数据类型 | 不支持 BLOB 及衍生类型 |
对端表类型 | 仅支持 唯一键模型(Unique) |
源端表类型 | 不支持 无主键表 迁移同步 |
增量写入冲突策略 | Stream Load 写入以主键进行整行替换 |
前置条件
| 条件 | 说明 |
|---|---|
账号权限 | 文档：ORACLE 需要的权限 |
增量同步准备 | |
网络准备 | 迁移同步节点（sidecar）可连接 ORACLE 标准交互接口（如 1521） |
任务参数
| 参数名称 | 说明 |
|---|---|
fullFetchSize | 全量扫描数据设置的 fetch size |
eventStoreSize | 缓存解析完毕的增量事件缓存大小 |
logminerUser | 执行 Logminer SQL 的 Oracle 连接用户 |
logminerPasswd | 执行 Logminer SQL 的 Oracle 连接密码 |
logminerConnectType | 执行 Logminer SQL 的 Oracle 连接类型（PDB），包括 ORACLE_SID, ORACLE_SERVICE 两种可选 |
logminerSidOrService | 执行 Logminer SQL 的 Oracle 连接串 SID 或服务名（PDB） |
parseRedoSqlParallel | 解析 Logminer 数据的并发度 |
parseRedoSqlBufferSize | 解析 Logminer 数据的环形队列大小 |
redoFetchSize | 单次获取 Logminer 分析数据条数 |
redoOfferTransMaxSize | 未消费但已提交事务最大缓存数量 |
oraMiningSessionPauseSec | 使用 Logminer 挖掘日志间隙停顿时间，单位为秒 |
maxEventCountPerTxInMem | 内存中每个事务的最大事件数 |
logMiningScnStep | Oracle Logminer 分析 redo log 时指定的分析范围大小 |
abandonUnCommitTxTimeoutSec | 不带数据变更的事务未提交超过设置的值，则自动放弃该事务 |
restartTxWithDataTimeoutSec | 带数据变更的事务未提交超过设置的值，则自动重启任务 |
oraUseOnlineDic | 是否使用在线日志，false 使用离线日志对 Oracle 压力较大 |
oraReleaseIntervalSec | 重建分析链接的间隔，以释放 Oracle 服务端资源 |
oraMiningSessionPauseSec | 执行 Logminer 指令分析的间隔时间 |
fallBackScnStep | 和 Redo log 最新数据保持的距离，0 表示紧跟 |
sqlCaseConversionEnabled | 是否打开 DDL 大小写转换（根据当前数据库默认大小写规则） |
Tips: 通用参数配置请参考 通用参数及功能
前置条件
| 条件 | 说明 |
|---|---|
账号权限 | 具备 SELECT, DDL 权限(可选) |
网络准备 | 迁移同步节点（sidecar）可连接 Doris / SelectDB FE QueryPort 和 FE/BE HttpPort |
任务参数
| 参数名称 | 说明 |
|---|---|
host | MySQL 协议交互链接，对应 Doris / SelectDB FE QueryPort |
httpHost | Doris stream load 链接，对应 Doris / SelectDB FE/BE HttpPort |
totalDataInMemMb | 攒批写入，内存中最大数据容量，超过此容量或超过 asyncFlushIntervalSec 则刷出数据到写入队列 |
asyncFlushIntervalSec | 攒批写入，等待刷出的间隔时间，超过此时间或超过 totalDataInMemMb 则刷出数据到写入队列 |
flushBatchMb | 单表最大攒批容量，超过此容量则刷出数据到写入队列 |
realFlushPauseSec | 使用 stream load 刷出数据到 Doris / SelectDB 的等待时间，0 则不等待 |
soTimeoutSec | 在 QueryPort 或 HttpPort 执行操作时 tcp 超时链接(so_timeout) |
enableTimeZoneProcess | 是否对时间字段进行时区转换 |
timezone | 目标端 Doris/SelectDB 时区，例如 +08:00 Asia/Shanghai America/New_York |
Tips: 通用参数配置请参考 通用参数及功能