跳到主要内容

MySQL 到 StarRocks

简述​

简述​

本文介绍如何通过 CloudCanal ，五分钟内创建一条长期稳定运行的 MySQL -> StarRocks 实时数据迁移同步链路。

技术点​

写入StarRocks采用StreamLoad导入方式​

CloudCanal 采用了 StarRocks StreamLoad 方式进行导入，源端数据和变更转成字节流，以通过 HTTP 协议批量写入 StarRocks。

基于 StreamLoad 方式，写入对端的操作均为 INSERT，CloudCanal 自动将 INSERT / UPDATE / DELETE 转成 INSERT 语句，并填入 __op 值(删除标识符)，StarRocks 将自动进行数据合并。

操作示例​

步骤 1: 安装 CloudCanal​

请参考 全新安装(Docker Linux/MacOS)，下载安装 CloudCanal 私有部署版本。

步骤 2: 添加数据源​

登录 CloudCanal 控制台，点击 数据源管理 > 新增数据源。

步骤 3: 创建任务​

  1. 点击 同步任务 > 创建任务。

  2. 选择源和目标数据源，并分别点击 测试连接。

  3. 选择 数据同步 并勾选 全量初始化。

  4. 选择需要同步的表。

  5. 选择表对应的列。

    信息

    如果需要选择同步的列，可先行在对端创建好表结构。

  6. 点击 确认创建。

    信息

    任务创建过程将会进行一系列操作，点击 同步设置 > 异步任务，找到任务的创建记录并点击 详情 即可查看。

    MySQL 源端的任务创建会有以下几个步骤：

    • 结构迁移
    • 初始化位点
    • 分配任务执行机器
    • 创建任务状态机
    • 完成任务创建

  7. 等待任务自动流转。

    信息

    当任务创建完成，CloudCanal 会自动进行任务流转，其中的步骤包括：

    • 结构迁移: Hana 源端的表定义将会迁移到对端，如果同名表在对端已经存在，则会忽略。
    • 全量数据迁移: 已存在的存量数据将会完整迁移到对端。
    • 增量数据同步: 增量数据将会持续地同步到对端数据库，并且保持实时（秒级别延迟）。

总结​

本文简单介绍了如何使用 CloudCanal 进行 MySQL 到 StarRocks 数据迁移同步，助力企业快速构建数据管道，增强数据分析能力。