Hudi
CloudCanal 支持将 Hudi 作为目标端连接器,用于实时数据集成、数据迁移、数据同步和分析链路。
Hudi
源端
否
目标端
支持
使用 Hudi 构建生产级数据链路
CloudCanal 支持在湖仓、文件采集和 AI 就绪数据准备流程中使用 Hudi。
Hudi 数据源介绍
Apache Hudi 是一个数据湖存储框架,支持实时数据摄取、更新和删除操作。
实时流动
构建低延迟的 Hudi 数据链路,让数据持续保持新鲜,而不是只依赖批处理。
全量与增量
将处理后的数据写入 Hudi,纳入受治理的下游数据链路。
运维可控
CloudCanal 为生产数据团队提供可视化配置、监控、重试和运维流程。
企业可用
明确网络、权限和部署选项,让链路适配云端、BYOC 和本地部署环境。
常见的 Hudi 链路模式
1
业务数据写入 Hudi,用于湖仓存储
将数据库和应用数据落入持久化存储,用于湖仓表、审计和长期分析。
2
Hudi 采集到 AI 就绪的知识链路
把源端数据整理成文件或湖仓资产,供检索、向量化和模型工作流使用。
3
基于文件的数据同步,用于归档和下游处理
导出可重复的文件快照或增量数据集,用于长期留存、外部交换和离线处理。