使用 Docker 部署 Maxwell 实现 mysql 与 es 的同步
本文详细解析了使用 Docker 部署 Maxwell 实现 MySQL 与 E
前言
最近想优化下项目中 ElasticSearch 与 MySQL 数据同步的逻辑,原本的处理逻辑是同步保存,即向 MySQL 插入更新删除数据时,同时也对 es 上的文档做相同的操作,这样处理虽然简单,但这两个处理速度都比较慢,会影响性能。
常见的数据同步方案
- 同步双写
- 异步双写
- 基于 SQL 抽取
- 基于 Binlog 实时同步
而这里,我采用 基于 Binlog 实时同步 的方式来优化同步逻辑。

具体步骤如下:
- 读取 MySQL 的 Binlog 日志,获取指定表的日志信息;
- 将读取的信息转为 MQ;
- 编写一个 MQ 消费程序;
- 不断消费 MQ,每消费完一条消息,将消息写入到 ES 中。
优点:
- 没有代码侵入、没有硬编码;
- 原有系统不需要任何变化,没有感知;
- 性能高;
- 业务解耦,不需要关注原来系统的业务逻辑。
缺点:
- 构建 Binlog 系统复杂;
- 如果采用 MQ 消费解析的 Binlog 信息,会存在 MQ 延时的风险。
市面上有很多优秀的数据迁移工具,常见的有 Cancel、阿里云 DTS、Databus、Flink、Maxwell 等。这里我采用 Maxwell。
MaxWell 是什么?
MaxWell 是一个用于 MySQL 数据库的开源 binlog 抓取工具,它可以将 MySQL 的 binlog 解析成可读的 JSON 格式,并将其发送到消息队列中,如RabbitMQ、Kafka。通过使用 MaxWell,可以方便地将 MySQL 数据库中的数据变更同步到其他系统中,如 ElasticSearch,实现数据的实时同步和处理。
官方文档:https://maxwells-daemon.io/quickstart/
安装
1、拉取镜像
sh
docker pull zendesk/maxwell

2、配置 MySQL
由于 maxwell 需要指定 Binlog 为“行级别”的方式进行记录,故需要往 my.cnf 写入配置,这里我直接追加配置,有些版本默认已经是以下配置,则无需重新配置,这里我的 MySQL 部署在 Docker 上
sh
#开启binlog日志配置
echo "[mysqld]" >> /opt/docker/mysql8/my.cnf
echo "server_id=1" >> /opt/docker/mysql8/my.cnf
echo "log_bin = mysql-bin" >> /opt/docker/mysql8/my.cnf
echo "binlog_format = ROW" >> /opt/docker/mysql8/my.cnf

配置完后重启 MySQL
sh
docker restart mysql8
可以看到新的 binlog 日志名称为 mysql-bin.xxxxx

使用 sql 查询配置是否生效
sql
show variables like 'server_id';
show variables like 'log_bin';
show variables like 'binlog_format';



3、创建 maxwell 用户
这里我按官方的 demo 来
sql
-- 创建数据库(maxwell 启动后,会在该数据库下建表,运行时,会保存一些数据)
CREATE DATABASE `maxwell`;
-- 创建了一个名为 maxwell,允许从任何主机连接到 MySQL 服务器的用户(maxwell 配置中默认用户名、密码)
CREATE USER 'maxwell'@'%' IDENTIFIED BY '123456';
-- 给这个用户授予 maxwell 数据库的全部权限
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
-- 授予 maxwell 用户对所有数据库的 SELECT 权限,以及用于复制和客户端连接的 REPLICATION SLAVE 和 REPLICATION CLIENT 权限
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
-- 刷新权限
flush privileges;
准备测试数据库和表
sql
CREATE DATABASE `toutiao`;
USE `toutiao`;
CREATE TABLE `news_channel` (
`channel_id` int unsigned NOT NULL AUTO_INCREMENT COMMENT '频道ID',
`channel_name` varchar(32) CHARACTER SET utf8mb3 NOT NULL COMMENT '频道名称',
`create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
`sequence` int unsigned DEFAULT '0' COMMENT '序号',
`is_visible` tinyint(1) DEFAULT '0' COMMENT '是否可见',
`is_default` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否默认',
PRIMARY KEY (`channel_id`),
UNIQUE KEY `channel_name` (`channel_name`)
) ENGINE=MyISAM AUTO_INCREMENT=30 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='新闻频道表';
4、编写 docker-compose.yml
yml
version: '3.5'
services:
maxwell:
image: zendesk/maxwell
network_mode: "host"
command: bin/maxwell --config /etc/maxwell/config.properties
volumes:
- /opt/docker/maxwell/conf:/etc/maxwell/
5、创建数据卷目录
创建 conf 文件夹,在 conf 文件夹下创建config.properties 文件
sh
mkdir -p /opt/docker/maxwell/conf
cd /opt/docker/maxwell/conf
touch config.properties
chmod u+rwx config.properties
编辑文件
properties
# 是否以守护进程的方式运行
daemon=true
# 第一次启动时建议改为debug,可以开到mysql数据与kafka请求,稳定后再改为info
log_level=info
producer=rabbitmq
rabbitmq_host=127.0.0.1
rabbitmq_port=5672
rabbitmq_user=blog
rabbitmq_pass=test_123
rabbitmq_virtual_host=/blog
# 会往 rabbitmq 下交换机名为 'maxwell_exchange' 推送数据
rabbitmq_exchange=maxwell_exchange
# 将消息广播给所有绑定到交换机的队列
rabbitmq_exchange_type=fanout
# RabbitMQ 交换机是否持久化
rabbitmq_exchange_durable=true
# 交换机不存在自动创建交换机
# rabbitmq_declare_exchange=true
# 消息是否持久化
# rabbitmq_message_persistent=false
#当producer_partition_by设置为table时,Maxwell会将生成的消息根据表名称进行分区,不同的表将会被分配到不同的分区中,默认为database
producer_partition_by=table
client_id=maxwell_dev
# mysql login info 需要先在mysql创建maxwell用户
host=127.0.0.1
port=3306
user=maxwell
password=123456
schema_database=maxwell
注意:mq 用户的权限必须给足。
6、定向监听
如果我们只想通过 Maxwell 监听指定的某个库表,那么可以通过 Maxwell 中的过滤器 filter 实现,这里通过两个官方提供的案例来进行说明。
修改配置文件 config.properties,添加如下所示的配置项:
properties
filter=exclude: blog.*, include: article.tbl, include: blog./table_\\d+/
排除监听 blog 库下的所有表,只监听 article.tbl 表和 blog 库中以 table_ 开头并以数字结尾的表。
注意:在正则表达式中,
\d表示匹配任意数字字符。然而,在配置文件中,反斜杠\被视为转义字符,因此为了在正则表达式中表示一个反斜杠和一个字母d,我们需要使用两个连续的反斜杠\\。
properties
filter=exclude: *.*, include: db1.*
排除监听所有库表,只监听 db1 库下的所有表。
7、运行容器
sh
docker-compose up -d


8、MySQL binlog 同步数据验证
这里我使用 Java 做测试,首先编写一个 MQ 配置类,用于绑定交换机与队列
java
@Configuration
public class RabbitMqConfig {
@Bean
public Queue articleQueue() {
return new Queue("email_queue", true);
}
@Bean
public FanoutExchange maxWellExchange() {
return new FanoutExchange("maxwell_exchange", true, false);
}
@Bean
public Binding bindingArticleDirect() {
return BindingBuilder.bind(articleQueue()).to(maxWellExchange());
}
}
maxwell消息数据
java
@Data
@AllArgsConstructor
@NoArgsConstructor
@Builder
public class MaxwellDataDTO {
/**
* 数据库
*/
private String database;
/**
* xid
*/
private Integer xid;
/**
* 数据
*/
private Map<String, Object> data;
/**
* 是否提交
*/
private Boolean commit;
/**
* 类型
*/
private String type;
/**
* 表
*/
private String table;
/**
* ts
*/
private Integer ts;
}
编写消费者
java
@Component
@RabbitListener(queues = "email_queue")
@Slf4j
public class MaxWellConsumer {
@RabbitHandler
public void process(byte[] data) {
// 获取监听信息
MaxwellDataDTO maxwellDataDTO = JSON.parseObject(new String(data), MaxwellDataDTO.class);
log.info("收到 maxwell 数据:{}", maxwellDataDTO);
}
}
启动 Java 服务,接着编写 sql 插入一条测试数据
sql
INSERT INTO news_channel
(channel_id, channel_name, create_time, update_time, `sequence`, is_visible, is_default)
VALUES(30, 'Java开发', '2024-05-10 08:23:27', '2024-05-10 08:23:27', 0, 0, 0);
查看控制台,可以看到收到消息
sh
2024-05-10 03:28:16.818 INFO 90377 --- [ntContainer#1-1] c.s.b.consumer.MaxWellConsumer [35] : 收到 maxwell 数据:MaxwellDataDTO(database=toutiao, xid=null, data={"channel_name":"Java开发7","sequence":0,"update_time":"2024-05-10 08:23:27","is_visible":0,"create_time":"2024-05-10 08:23:27","is_default":0,"channel_id":40}, commit=true, type=insert, table=news_channel, ts=1715282896)

改造代码
文章消费者
由于 maxwell 的消息中的 type 会告诉你当前 sql 是 insert、update 或者 delete,故我们可以根据当前 sql 操作的类型做相应的操作。
java
import com.alibaba.fastjson.JSON;
import com.salmon.blogservice.dao.ElasticsearchDao;
import com.salmon.blogservice.dto.ArticleSearchDTO;
import com.salmon.blogservice.dto.MaxwellDataDTO;
import com.salmon.blogservice.entity.Article;
import com.salmon.blogservice.utils.BeanCopyUtils;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.annotation.RabbitHandler;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import static com.salmon.blogservice.constant.MqPrefixConst.MAXWELL_QUEUE;
/**
* maxwell 监听数据
*
* @author Salmon
* @since 2024-5-10
*/
@Component
@RabbitListener(queues = MAXWELL_QUEUE)
@Slf4j
public class MaxWellConsumer {
@Autowired
private ElasticsearchDao elasticsearchDao;
@RabbitHandler
public void process(byte[] data) {
// 获取监听信息
MaxwellDataDTO maxwellDataDTO = JSON.parseObject(new String(data), MaxwellDataDTO.class);
log.info("收到 maxwell 数据:{}", maxwellDataDTO);
// 获取文章数据
Article article = JSON.parseObject(JSON.toJSONString(maxwellDataDTO.getData()), Article.class);
// 判断操作类型
switch (maxwellDataDTO.getType()) {
case "insert":
case "update":
// 更新es文章
elasticsearchDao.save(BeanCopyUtils.copyObject(article, ArticleSearchDTO.class));
break;
case "delete":
// 删除文章
elasticsearchDao.deleteById(article.getId());
break;
default:
break;
}
}
}
之后即可通过 maxwell 为我们异步同步数据到 es 上