Mac M1 Docker 跑 RocketMQ
AI 摘要鱼粮不足,AI 今天先歇着 · 正文在下面
一、RocketMQ简介
1、架构
2、角色
2.1、Broker
- Broker主要用于Producer和Consumer接收和发送消息
- Broker会定时向NameServer提交自己的信息
- 是消息中间件的消息存储、转发服务器
- 每个Broker节点,在启动时,都会遍历NameServer列表,与每个NameServer建立长连接,注册自己的信息,之后定时上报
2.2、NameServer
- 理解成Zookeeper、Nacos的效果,也就是服务注册中心
- 底层由Netty实现,提供了路由管理、服务注册、服务发现的功能,是一个无状态节点
- NameServer是服务发现者,集群中各个角色(Producer、Broker、Consumer等)都需要定时向NameServer上报自己的状态,以便互相发现彼此,超时不上报的话,NameServer会把它从列表中剔除
- NameServer可以部署多个,当多个NameServer存在的时候,其他角色同时向他们上报信息,以保证高可用
- NameServer集群间互不通信,没有主备的概念
- NameServer内存式存储,NameServer中的Broker、Topic等信息默认不会持久化,所以他是无状态节点
2.3、Producer
- 消息的生产者
- 随机选择其中一个NameServer节点建立长连接,获得Topic路由信息(包括Topic下的queue,这些queue分布在哪些Broker上等等)
- 接下来向提供Topic服务的master建立长连接(因为rocketmq只有Master才能写消息),且定时向Master发送心跳
2.4、Consumer
- 消息的消费者
- 通过NameServer集群获得Topic的路由信息,连接到对应的Broker上消费消息
- 由于Master和Slave都可以读取消息,因此Consumer会与Master和Slave都建立连接进行消费消息
3、核心流程
- Broker都注册到Nameserver上
- Producer发消息的时候会从Nameserver上获取发消息的Topic信息
- Producer向提供服务的所有Master建立长连接,且定时向master发送心跳
- Consumer通过NameServer集群获得Topic的路由信息
- Consumer会与所有的Master和所有的Slave都建立连接进行监听新消息
4、核心概念
- Message
消息载体。Message发送或者消费的时候必须指定Topic。Message有一个可选的Tag项用于过滤消息,还可以添加额外的键值对。 - Topic
消息的逻辑分类,发消息之前必须要指定一个Topic才能发,就是将这条消息发送到这个Topic上。消费消息的时候指定这个Topic进行消费。就是逻辑分类。 - Queue
1个Topic会被分为N个Queue,数量是可配置的。Message本身其实是存储到Queue上的,消费者消费的也是queue上的消息。多说一嘴,比如1个Topic4个Queue,有5个Consumer都在消费这个Topic,那么会有一个Consumer浪费掉了,因为负载均衡策略,每个Consumer消费1个Queue,5>4,溢出1个,这个会不工作。 - Tag
Tag 是 Topic 的进一步细分,顾名思义,标签。每个发送的时候消息都能打Tag,消费的时候可以根据Tag进行过滤,选择性消费。 - Message Model
消息模型:集群(Clustering)和广播(Broadcasting) - Message Order
消息顺序:顺序(Orderly)和并发(Concurrently) - Producer Group
消息生产者组 - Consumer Group
消息消费者组
5、ACK
首先要明确一点:ACK机制是发生在Consumer端的,不是在Producer端的。也就是说Consumer消费完消息后要进行ACK确认,如果未确认则代表是消费失败,这时候Broker会进行重试策略(仅集群模式会重试)。ACK的意思就是:Consumer说:ok,我消费成功了。这条消息给我标记成已消费吧。
6、消费模式
6.1、集群模式(Clustering)
6.2.1、图解

6.2.2、特点
- 每条消息只需要被处理一次,Broker只会把消息发送给消费集群中的一个消费者
- 在消息重投时,不能保证路由到同一台机器上
- 消费状态由Broker维护
6.2、广播模式(Broadcasting)
6.2.1、图解

6.2.2、特点
- 消费进度由Consumer维护
- 保证每个消费者都消费一次消息
- 消费失败的消息不会重投
二、部署
1、docker-compose编排镜像
新版本已经支持 m 系列芯片部署了
yml
services:
mqnamesrv:
image: apache/rocketmq:5.3.2
container_name: mqnamesrv
network_mode: host
ports:
- 9876:9876
volumes:
- /opt/docker/rocketmq/namesrv/logs:/home/rocketmq/logs
- /opt/docker/rocketmq/namesrv/store:/home/rocketmq/store
command: sh mqnamesrv
mqbroker:
image: apache/rocketmq:5.3.2
container_name: mqbroker
network_mode: host
depends_on:
- mqnamesrv
ports:
- 10909:10909
- 10911:10911
- 10912:10912
environment:
- NAMESRV_ADDR=mqnamesrv:9876
volumes:
- /opt/docker/rocketmq/broker/logs:/home/rocketmq/logs
- /opt/docker/rocketmq/broker/store:/home/rocketmq/store
- /opt/docker/rocketmq/broker/conf:/home/rocketmq/conf
command: sh mqbroker -c /home/rocketmq/conf/broker.conf # 添加配置文件参数
mqproxy:
image: apache/rocketmq:5.3.2
container_name: mqproxy
network_mode: host
depends_on:
- mqbroker
- mqnamesrv
ports:
- 8081:8081
restart: on-failure
environment:
- NAMESRV_ADDR=mqnamesrv:9876
volumes:
- /opt/docker/rocketmq/proxy/logs:/home/rocketmq/logs
command: sh mqproxy
dashboard:
image: apacherocketmq/rocketmq-dashboard:latest
container_name: dashboard
network_mode: host
depends_on:
- mqproxy
ports:
- 8008:8082
environment:
- JAVA_OPTS=-Drocketmq.namesrv.addr=mqnamesrv:9876
brocker.conf
bash
cat > /opt/docker/rocketmq/broker/conf/broker.conf << 'EOF'
heredoc> # Broker 基本配置
heredoc> brokerClusterName = DefaultCluster
heredoc> brokerName = broker-a
heredoc> brokerId = 0
heredoc>
heredoc> # 删除文件时间点,默认凌晨4点
heredoc> deleteWhen = 04
heredoc> # 文件保留时间,默认48小时
heredoc> fileReservedTime = 48
heredoc>
heredoc> # Broker 角色
heredoc> brokerRole = ASYNC_MASTER
heredoc> # 刷盘方式
heredoc> flushDiskType = ASYNC_FLUSH
heredoc>
heredoc> # 重要:配置 Broker 对外暴露的 IP
heredoc> # 使用宿主机 IP,让外部应用可以连接
heredoc> brokerIP1 = 127.0.0.1
heredoc>
heredoc> # 自动创建 Topic
heredoc> autoCreateTopicEnable = true
heredoc> # 自动创建订阅组
heredoc> autoCreateSubscriptionGroup = true
heredoc>
heredoc> # NameServer 地址
heredoc> namesrvAddr = mqnamesrv:9876
heredoc> EOF
2、启动并访问控制台
运行,生成容器
bash
docker compose up -d
3、测试发送消息
往test_topic发送一条消息

编辑消息进行发送

发送结果

看下 Message菜单栏,选择test_topic主题,可以看到一条消息

消息内容如下,与发送的消息一致。

评论
0 条—
还没有评论,来说第一句 

