使用 Docker 部署 Maxwell 实现 mysql 与 es 的同步

2024-05-10后端5 分钟456 次阅读
AI 摘要salmon-ai

本文详细解析了使用 Docker 部署 Maxwell 实现 MySQL 与 E

前言

最近想优化下项目中 ElasticSearch 与 MySQL 数据同步的逻辑,原本的处理逻辑是同步保存,即向 MySQL 插入更新删除数据时,同时也对 es 上的文档做相同的操作,这样处理虽然简单,但这两个处理速度都比较慢,会影响性能。

常见的数据同步方案

  • 同步双写
  • 异步双写
  • 基于 SQL 抽取
  • 基于 Binlog 实时同步

而这里,我采用 基于 Binlog 实时同步 的方式来优化同步逻辑。
image.png
具体步骤如下:

  • 读取 MySQL 的 Binlog 日志,获取指定表的日志信息;
  • 将读取的信息转为 MQ;
  • 编写一个 MQ 消费程序;
  • 不断消费 MQ,每消费完一条消息,将消息写入到 ES 中。

优点:

  • 没有代码侵入、没有硬编码;
  • 原有系统不需要任何变化,没有感知;
  • 性能高;
  • 业务解耦,不需要关注原来系统的业务逻辑。

缺点:

  • 构建 Binlog 系统复杂;
  • 如果采用 MQ 消费解析的 Binlog 信息,会存在 MQ 延时的风险。

市面上有很多优秀的数据迁移工具,常见的有 Cancel、阿里云 DTS、Databus、Flink、Maxwell 等。这里我采用 Maxwell。

MaxWell 是什么?

MaxWell 是一个用于 MySQL 数据库的开源 binlog 抓取工具,它可以将 MySQL 的 binlog 解析成可读的 JSON 格式,并将其发送到消息队列中,如RabbitMQ、Kafka。通过使用 MaxWell,可以方便地将 MySQL 数据库中的数据变更同步到其他系统中,如 ElasticSearch,实现数据的实时同步和处理。

官方文档:https://maxwells-daemon.io/quickstart/

安装

1、拉取镜像

sh 复制代码
docker pull zendesk/maxwell
image.png

2、配置 MySQL

由于 maxwell 需要指定 Binlog 为“行级别”的方式进行记录,故需要往 my.cnf 写入配置,这里我直接追加配置,有些版本默认已经是以下配置,则无需重新配置,这里我的 MySQL 部署在 Docker 上

sh 复制代码
#开启binlog日志配置
echo "[mysqld]" >> /opt/docker/mysql8/my.cnf
echo "server_id=1"  >> /opt/docker/mysql8/my.cnf
echo "log_bin = mysql-bin"  >> /opt/docker/mysql8/my.cnf
echo "binlog_format = ROW"  >> /opt/docker/mysql8/my.cnf

image.png
配置完后重启 MySQL

sh 复制代码
docker restart mysql8

可以看到新的 binlog 日志名称为 mysql-bin.xxxxx
image.png
使用 sql 查询配置是否生效

sql 复制代码
show variables like 'server_id';
show variables like 'log_bin';
show variables like 'binlog_format';

image.png
image.png
image.png

3、创建 maxwell 用户

这里我按官方的 demo 来

sql 复制代码
-- 创建数据库(maxwell 启动后,会在该数据库下建表,运行时,会保存一些数据)
CREATE DATABASE `maxwell`;

-- 创建了一个名为 maxwell,允许从任何主机连接到 MySQL 服务器的用户(maxwell 配置中默认用户名、密码)
CREATE USER 'maxwell'@'%' IDENTIFIED BY '123456';

-- 给这个用户授予 maxwell 数据库的全部权限
GRANT ALL ON maxwell.* TO 'maxwell'@'%';

-- 授予 maxwell 用户对所有数据库的 SELECT 权限,以及用于复制和客户端连接的 REPLICATION SLAVE 和 REPLICATION CLIENT 权限
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

-- 刷新权限
flush privileges;

准备测试数据库和表

sql 复制代码
CREATE DATABASE `toutiao`;

USE `toutiao`;

CREATE TABLE `news_channel` (
  `channel_id` int unsigned NOT NULL AUTO_INCREMENT COMMENT '频道ID',
  `channel_name` varchar(32) CHARACTER SET utf8mb3 NOT NULL COMMENT '频道名称',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  `sequence` int unsigned DEFAULT '0' COMMENT '序号',
  `is_visible` tinyint(1) DEFAULT '0' COMMENT '是否可见',
  `is_default` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否默认',
  PRIMARY KEY (`channel_id`),
  UNIQUE KEY `channel_name` (`channel_name`)
) ENGINE=MyISAM AUTO_INCREMENT=30 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='新闻频道表';

4、编写 docker-compose.yml

yml 复制代码
version: '3.5'
services:
  maxwell:
    image: zendesk/maxwell
    network_mode: "host"
    command: bin/maxwell --config /etc/maxwell/config.properties
    volumes:
      - /opt/docker/maxwell/conf:/etc/maxwell/

5、创建数据卷目录

创建 conf 文件夹,在 conf 文件夹下创建config.properties 文件

sh 复制代码
mkdir -p /opt/docker/maxwell/conf
cd /opt/docker/maxwell/conf
touch config.properties
chmod u+rwx config.properties

编辑文件

properties 复制代码
# 是否以守护进程的方式运行
daemon=true
# 第一次启动时建议改为debug,可以开到mysql数据与kafka请求,稳定后再改为info
log_level=info

producer=rabbitmq
rabbitmq_host=127.0.0.1
rabbitmq_port=5672
rabbitmq_user=blog
rabbitmq_pass=test_123
rabbitmq_virtual_host=/blog

# 会往 rabbitmq 下交换机名为 'maxwell_exchange' 推送数据
rabbitmq_exchange=maxwell_exchange
# 将消息广播给所有绑定到交换机的队列
rabbitmq_exchange_type=fanout
# RabbitMQ 交换机是否持久化
rabbitmq_exchange_durable=true
# 交换机不存在自动创建交换机
# rabbitmq_declare_exchange=true
# 消息是否持久化
# rabbitmq_message_persistent=false

#当producer_partition_by设置为table时,Maxwell会将生成的消息根据表名称进行分区,不同的表将会被分配到不同的分区中,默认为database
producer_partition_by=table
client_id=maxwell_dev

# mysql login info 需要先在mysql创建maxwell用户
host=127.0.0.1
port=3306
user=maxwell
password=123456
schema_database=maxwell

注意:mq 用户的权限必须给足。

6、定向监听

如果我们只想通过 Maxwell 监听指定的某个库表,那么可以通过 Maxwell 中的过滤器 filter 实现,这里通过两个官方提供的案例来进行说明。

修改配置文件 config.properties,添加如下所示的配置项:

properties 复制代码
filter=exclude: blog.*, include: article.tbl, include: blog./table_\\d+/

排除监听 blog 库下的所有表,只监听 article.tbl 表和 blog 库中以 table_ 开头并以数字结尾的表。

注意:在正则表达式中,\d 表示匹配任意数字字符。然而,在配置文件中,反斜杠 \ 被视为转义字符,因此为了在正则表达式中表示一个反斜杠和一个字母 d,我们需要使用两个连续的反斜杠 \\ 。

properties 复制代码
filter=exclude: *.*, include: db1.*

排除监听所有库表,只监听 db1 库下的所有表。

7、运行容器

sh 复制代码
docker-compose up -d

image.png
image.png

8、MySQL binlog 同步数据验证

这里我使用 Java 做测试,首先编写一个 MQ 配置类,用于绑定交换机与队列

java 复制代码
@Configuration
public class RabbitMqConfig {

    @Bean
    public Queue articleQueue() {
        return new Queue("email_queue", true);
    }

    @Bean
    public FanoutExchange maxWellExchange() {
        return new FanoutExchange("maxwell_exchange", true, false);
    }

    @Bean
    public Binding bindingArticleDirect() {
        return BindingBuilder.bind(articleQueue()).to(maxWellExchange());
    }
}

maxwell消息数据

java 复制代码
@Data
@AllArgsConstructor
@NoArgsConstructor
@Builder
public class MaxwellDataDTO {

    /**
     * 数据库
     */
    private String database;

    /**
     * xid
     */
    private Integer xid;

    /**
     * 数据
     */
    private Map<String, Object> data;

    /**
     * 是否提交
     */
    private Boolean commit;

    /**
     * 类型
     */
    private String type;

    /**
     * 表
     */
    private String table;

    /**
     * ts
     */
    private Integer ts;

}

编写消费者

java 复制代码
@Component
@RabbitListener(queues = "email_queue")
@Slf4j
public class MaxWellConsumer {

    @RabbitHandler
    public void process(byte[] data) {
        // 获取监听信息
        MaxwellDataDTO maxwellDataDTO = JSON.parseObject(new String(data), MaxwellDataDTO.class);
        log.info("收到 maxwell 数据:{}", maxwellDataDTO);
    }

}

启动 Java 服务,接着编写 sql 插入一条测试数据

sql 复制代码
INSERT INTO news_channel
(channel_id, channel_name, create_time, update_time, `sequence`, is_visible, is_default)
VALUES(30, 'Java开发', '2024-05-10 08:23:27', '2024-05-10 08:23:27', 0, 0, 0);

查看控制台,可以看到收到消息

sh 复制代码
2024-05-10 03:28:16.818  INFO 90377 --- [ntContainer#1-1] c.s.b.consumer.MaxWellConsumer            [35] : 收到 maxwell 数据:MaxwellDataDTO(database=toutiao, xid=null, data={"channel_name":"Java开发7","sequence":0,"update_time":"2024-05-10 08:23:27","is_visible":0,"create_time":"2024-05-10 08:23:27","is_default":0,"channel_id":40}, commit=true, type=insert, table=news_channel, ts=1715282896)
image.png

改造代码

文章消费者

由于 maxwell 的消息中的 type 会告诉你当前 sql 是 insert、update 或者 delete,故我们可以根据当前 sql 操作的类型做相应的操作。

java 复制代码
import com.alibaba.fastjson.JSON;
import com.salmon.blogservice.dao.ElasticsearchDao;
import com.salmon.blogservice.dto.ArticleSearchDTO;
import com.salmon.blogservice.dto.MaxwellDataDTO;
import com.salmon.blogservice.entity.Article;
import com.salmon.blogservice.utils.BeanCopyUtils;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.annotation.RabbitHandler;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import static com.salmon.blogservice.constant.MqPrefixConst.MAXWELL_QUEUE;

/**
 * maxwell 监听数据
 *
 * @author Salmon
 * @since 2024-5-10
 */
@Component
@RabbitListener(queues = MAXWELL_QUEUE)
@Slf4j
public class MaxWellConsumer {

    @Autowired
    private ElasticsearchDao elasticsearchDao;

    @RabbitHandler
    public void process(byte[] data) {
        // 获取监听信息
        MaxwellDataDTO maxwellDataDTO = JSON.parseObject(new String(data), MaxwellDataDTO.class);
        log.info("收到 maxwell 数据:{}", maxwellDataDTO);
        // 获取文章数据
        Article article = JSON.parseObject(JSON.toJSONString(maxwellDataDTO.getData()), Article.class);
        // 判断操作类型
        switch (maxwellDataDTO.getType()) {
            case "insert":
            case "update":
                // 更新es文章
                elasticsearchDao.save(BeanCopyUtils.copyObject(article, ArticleSearchDTO.class));
                break;
            case "delete":
                // 删除文章
                elasticsearchDao.deleteById(article.getId());
                break;
            default:
                break;
        }
    }

}

之后即可通过 maxwell 为我们异步同步数据到 es 上

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句