MySQL 到 Iceberg 同步

简述

本文主要介绍 CloudCanal 如何快速构建一条 MySQL 到 Iceberg 数据迁移同步链路。

Iceberg 简介

Iceberg 是什么？

Iceberg 是一种开放的数据表格式，包含 Catalog 和 数据存储 两种子概念。

Catalog 可简单理解为对数据的结构描述，如表列表、对应的表属性、包含的列、列类型、列长度等信息，这也是之所以为表格的原因。

数据存储 即以上 Catalog 数据 以及 实际业务数据 所组成的文件存放位置。

Iceberg 有什么特点？

Iceberg 架构开放，定义了 Catalog 、文件格式、数据存储、数据访问 等标准，从而被众多第三方组件实现和支持。

**Catalog：**AWS Glue、Hive、Nessie、Jdbc，或者专用的 Catalog 服务通过 Rest 方式读写。
**数据文件格式：**Parquet、ORC、Avro 等。
**数据存储：**AWS S3、Azure Blob Storage、MinIO、HDFS、Posix FS 等各类云存储或本地存储。
**数据访问：**可通过类似 StarRocks、Doris、ClickHouse 等实时数仓，Spark、Flink、Hive 等流/批计算引擎检索、分析、操作数据和结构。

除了开放这一大特点，Iceberg 同时在 超大数据量存储 和 准实时增、删、改 之间实现了平衡。

下表从数据容量、增量实时性、事务支持、存储成本、架构开放度 5 个纬度，对各类数据库进行对比（仅作参考，欢迎讨论）：

数据库种类	关系型数据库	实时数据仓库	传统大数据	数据湖
数据容量	几 TB 级别	百 TB 级别	PB 级别	PB 级别
增量实时性	业务级别增量写入，延迟毫秒级别，万级别 QPS	业务级别增量写入，延迟秒到分钟级别，千级别 QPS	运维级别增量写入，延迟小时到天级别，个位数 QPS	业务级别增量写入，延迟分钟级别，个位数 QPS(攒批)
事务支持	ACID 强一致	ACID 强一致或最终一致	否	否
存储成本	高	高或很高	很低	低
架构开放度	低	中(存算分离)	否	高

从上表来看，使用 Iceberg，即可得到一个 低成本、超大数据存储容量、丰富数据检索分析工具的数据库，从某种意义上来说，可以作为传统大数据系统的换代升级产品。

当然得益于其架构的开放性，还可以不断探索更多的数据使用场景。

技术点

典型 Catalog 和存储支持

CloudCanal 支持 Iceberg 3 种 Catalog 和 2 种存储方式，搭配关系为

AWS Glue + AWS S3
Nessie + MinIO / AWS S3
Rest + MinIO / AWS S3

对于全栈数据上云，AWS RDS + EC2 部署 CloudCanal + AWS Glue + AWS S3 即可构建。

对于全私有数据，自建关系型数据库 + 虚拟机部署 CloudCanal + Nessis/Rest Catalog + MinIO 则可快速达成。

数据迁移同步一体化

对于数据同步开始之前的繁重工作，CloudCanal 一直尝试利用自身的数据库知识，自动将结构准备、历史数据迁移做好。

对于 Iceberg 这类非传统意义数据库交互的产品，也实现了数据迁移同步的自动化流程，包括结构定义转换、类型映射、约束清理、类型长度适配等工作，都可在 CloudCanal 一站式完成。

操作示例

准备 CloudCanal

下载安装 CloudCanal 私有部署版本。

添加数据源

信息

本案例采用 AWS Glue + AWS S3 的组合, 测试数据来自自建的 MySQL 库。

登录 CloudCanal 平台，点击 数据源管理 > 添加数据源，添加 2 个数据源。
添加 Iceberg 所要填写的信息如下（<>内按实际情况替换）。

网络地址：本例填写 AWS Glue 服务地址。
```
glue.<aws_glue_region_code>.amazonaws.com
```
版本：保持默认值即可。
描述：用于辨别实例用途。

额外参数：

httpsEnabled：打开开关，即设置为 true。
catalogName：设置一个意义明确的名字，如 glue_<biz_name>_catalog。
catalogType：设置为 GLUE。
catalogWarehouse：元数据和数据文件最终存放位置，如 s3://<biz_name>_iceberg。

catalogProps：参考如下

{
  "io-impl": "org.apache.iceberg.aws.s3.S3FileIO",
  "s3.endpoint": "https://s3.<aws_s3_region_code>.amazonaws.com",
  "s3.access-key-id": "<aws_s3_iam_user_access_key>",
  "s3.secret-access-key": "<aws_s3_iam_user_secret_key>",
  "s3.path-style-access": "true",
  "client.region": "<aws_s3_region>",
  "client.credentials-provider.glue.access-key-id": "<aws_glue_iam_user_access_key>",
  "client.credentials-provider.glue.secret-access-key": "<aws_glue_iam_user_secret_key>",
  "client.credentials-provider": "com.amazonaws.glue.catalog.credentials.GlueAwsCredentialsProvider"
}

创建任务

点击 同步任务 > 创建任务。

选择源和目标实例，并分别点击 测试连接。其中 Iceberg 数据源 结构迁移属性配置 推荐如下：

{
  "format-version": "2",
  "parquet.compression": "snappy",
  "iceberg.write.format": "parquet",
  "write.metadata.delete-after-commit.enabled": "true",
  "write.metadata.previous-versions-max": "3",
  "write.update.mode": "merge-on-read",
  "write.delete.mode": "merge-on-read",
  "write.merge.mode": "merge-on-read",
  "write.distribution-mode": "hash",
  "write.object-storage.enabled": "true",
  "write.spark.accept-any-schema": "true"
}

信息

如遇到测试连接长时间不返回，可以刷新页面重新选择。
数据库连接信息错误或网络不通都可能造成该现象。

在 功能配置 页面，选择 增量同步，并勾选 全量初始化。

信息
任务规格选择默认 2 GB 或 1 GB 即可。不建议选择小于 1 GB 的任务，批量更新或写入较多可能造成任务内存紧张，性能急剧下降。
在 表&action过滤 页面，选择需要迁移同步的表，可同时选择多张。

信息
单个任务推荐选择不多于 1000 张表。
社区版当前支持最大 1000 张表选择，商业版不限。
在 数据处理 页面，保持默认配置。
在 创建确认 页面，点击 创建任务，开始运行。

测试并验证数据

造增删改数据。
停止造数据。
创建一个按量 Aliyun EMR for StarRocks，添加 AWS Glue 的 Iceberg Catalog 并查询。

StarRocks 中添加 External Catalog 并设置查询环境。

CREATE EXTERNAL CATALOG glue_test
PROPERTIES
(
  "type" = "iceberg",
  "iceberg.catalog.type" = "glue",
  "aws.glue.use_instance_profile" = "false",
  "aws.glue.access_key" = "<aws_glue_iam_user_access_key>",
  "aws.glue.secret_key" = "<aws_glue_iam_user_secret_key>",
  "aws.glue.region" = "ap-southeast-1",
  "aws.s3.use_instance_profile" = "false",
  "aws.s3.access_key" = "<aws_s3_iam_user_access_key>",
  "aws.s3.secret_key" = "<aws_s3_iam_user_secret_key>",
  "aws.s3.region" = "ap-southeast-1"
)

set CATALOG glue_test;

set global new_planner_optimize_timeout=30000;

MySQL 数据量
Iceberg 数据源

总结

本文简单介绍了如何使用 CloudCanal 快速构建一条 MySQL 到 Iceberg 数据迁移同步链路，助力用户业务查询加速目标。

简述​

Iceberg 简介​

Iceberg 是什么？​

Iceberg 有什么特点？​

技术点​

典型 Catalog 和存储支持​

数据迁移同步一体化​

操作示例​

准备 CloudCanal​

添加数据源​

创建任务​

测试并验证数据​

总结​

简述