Skip to main content
版本:商业版

MySQL同步至ElasticSearch任务创建

本文章主要指导用户如何创建一条MySQL同步到ElasticSearch的同步链路。

版本支持

支持的版本信息
MySQL自建MySQL 5.X ~ 8.X (InnoDB引擎) ; 阿里云RDS for MySQL 5.X ~ 8.X (InnoDB引擎)
ElasticSearch自建ES 6.8 ~ 7.X; 阿里云ES 6.8 ~ 7.X

能力特性

  • 结构迁移:支持将MySQL中的表结构映射为ES中的索引结构并帮用户在ES中自动构建索引。支持索引名称自定义、表级分片数和副本数设置、内置分词器选择和文档类型选择。
  • 全量迁移:支持将源端指定库表中的数据全部迁移至ES。
  • 增量同步:支持订阅源端实时变更的INSERT,UPDATE和DELETE操作同步到对端ES对应的索引文档上。
  • 库表列过滤:支持库表列的过滤筛选。
  • Where条件过滤:支持指定SQL where条件进行数据过滤。
  • 时区转换:支持配置的时区自动转换。

操作步骤

  1. 请先参考官方文档中添加数据源、添加机器的文档完成数据源和同步机器的添加。
  2. 在任务管理页面点击创建任务进入任务创建流程。

image.png

  1. 配置源和目标

image.png

  1. 选择任务类型和规格

image.png

  1. 选择需要订阅的表以及进行索引的配置

image.png

  1. 选择需要订阅的列,并且设置文档属性类型以及对TEXT类型字段配置分词器

image.png

  1. 最后一步确认汇总信息无误后点击创建

image.png

  1. 点击任务管理的任务卡片进入详情页可以查看任务具体的同步阶段以及监控信息

image.png