跳到主要内容

数据同步脱敏

简述

本文主要介绍使用 CloudCanal 做数据迁移同步时如何对特定数据做脱敏处理。

技术点

自定义代码

CloudCanal 允许用户上传业务代码到数据任务中,完成数据迁移、同步过程中数据处理的目的。

数据同步脱敏也是基于自定义代码实现,具备以下特点:

  • 脱敏范围灵活,可选择任何一个或多个表字段
  • 脱敏算法可依赖外部算法包
  • 脱敏逻辑和策略可自定义

操作示例

脱敏代码开发

安装 CloudCanal

任务创建

  • 任务管理 > 创建任务
  • 选择源和目标数据库 custom_task_1
  • 选择增量同步,并勾选数据初始化 custom_task_2
  • 选择同步表 custom_task_3
  • 选择列,右上角 上传自定义代码 jar 包 custom_task_4
  • 创建任务 custom_task_5
  • 任务结构迁移、全量迁移、增量同步,正常运行 custom_task_6

验证数据

  • 源端与目标端数据 custom_data_1custom_data_1
  • 对测试表造一些 DML 操作后,源端和目标端数据 custom_data_1custom_data_1

常见问题

目前还存在什么问题?

  • 只支持 Java 语言,对于非开发同学不够友好,后续希望能支持常用脚本语言。
  • 数据校验和数据订正暂时不支持,对于基于自定义代码实现的数据迁移同步,无法做到数据质量校验。

总结

主要介绍使用 CloudCanal 做数据迁移同步时数据脱敏工作。