Mac M1 Docker 跑 RocketMQ

2023-03-31开发环境4 分钟218 次阅读
AI 摘要鱼粮不足,AI 今天先歇着 · 正文在下面

一、RocketMQ简介

1、架构

RocketMQ官网
image.png

2、角色

2.1、Broker

  1. Broker主要用于Producer和Consumer接收和发送消息
  2. Broker会定时向NameServer提交自己的信息
  3. 是消息中间件的消息存储、转发服务器
  4. 每个Broker节点,在启动时,都会遍历NameServer列表,与每个NameServer建立长连接,注册自己的信息,之后定时上报

2.2、NameServer

  1. 理解成Zookeeper、Nacos的效果,也就是服务注册中心
  2. 底层由Netty实现,提供了路由管理、服务注册、服务发现的功能,是一个无状态节点
  3. NameServer是服务发现者,集群中各个角色(Producer、Broker、Consumer等)都需要定时向NameServer上报自己的状态,以便互相发现彼此,超时不上报的话,NameServer会把它从列表中剔除
  4. NameServer可以部署多个,当多个NameServer存在的时候,其他角色同时向他们上报信息,以保证高可用
  5. NameServer集群间互不通信,没有主备的概念
  6. NameServer内存式存储,NameServer中的Broker、Topic等信息默认不会持久化,所以他是无状态节点

2.3、Producer

  1. 消息的生产者
  2. 随机选择其中一个NameServer节点建立长连接,获得Topic路由信息(包括Topic下的queue,这些queue分布在哪些Broker上等等)
  3. 接下来向提供Topic服务的master建立长连接(因为rocketmq只有Master才能写消息),且定时向Master发送心跳

2.4、Consumer

  1. 消息的消费者
  2. 通过NameServer集群获得Topic的路由信息,连接到对应的Broker上消费消息
  3. 由于Master和Slave都可以读取消息,因此Consumer会与Master和Slave都建立连接进行消费消息

3、核心流程

  1. Broker都注册到Nameserver上
  2. Producer发消息的时候会从Nameserver上获取发消息的Topic信息
  3. Producer向提供服务的所有Master建立长连接,且定时向master发送心跳
  4. Consumer通过NameServer集群获得Topic的路由信息
  5. Consumer会与所有的Master和所有的Slave都建立连接进行监听新消息

4、核心概念

  1. Message
    消息载体。Message发送或者消费的时候必须指定Topic。Message有一个可选的Tag项用于过滤消息,还可以添加额外的键值对。
  2. Topic
    消息的逻辑分类,发消息之前必须要指定一个Topic才能发,就是将这条消息发送到这个Topic上。消费消息的时候指定这个Topic进行消费。就是逻辑分类。
  3. Queue
    1个Topic会被分为N个Queue,数量是可配置的。Message本身其实是存储到Queue上的,消费者消费的也是queue上的消息。多说一嘴,比如1个Topic4个Queue,有5个Consumer都在消费这个Topic,那么会有一个Consumer浪费掉了,因为负载均衡策略,每个Consumer消费1个Queue,5>4,溢出1个,这个会不工作。
  4. Tag
    Tag 是 Topic 的进一步细分,顾名思义,标签。每个发送的时候消息都能打Tag,消费的时候可以根据Tag进行过滤,选择性消费。
  5. Message Model
    消息模型:集群(Clustering)和广播(Broadcasting)
  6. Message Order
    消息顺序:顺序(Orderly)和并发(Concurrently)
  7. Producer Group
    消息生产者组
  8. Consumer Group
    消息消费者组

5、ACK

首先要明确一点:ACK机制是发生在Consumer端的,不是在Producer端的。也就是说Consumer消费完消息后要进行ACK确认,如果未确认则代表是消费失败,这时候Broker会进行重试策略(仅集群模式会重试)。ACK的意思就是:Consumer说:ok,我消费成功了。这条消息给我标记成已消费吧。

6、消费模式

6.1、集群模式(Clustering)

6.2.1、图解

image.png

6.2.2、特点

  1. 每条消息只需要被处理一次,Broker只会把消息发送给消费集群中的一个消费者
  2. 在消息重投时,不能保证路由到同一台机器上
  3. 消费状态由Broker维护

6.2、广播模式(Broadcasting)

6.2.1、图解

image.png

6.2.2、特点

  1. 消费进度由Consumer维护
  2. 保证每个消费者都消费一次消息
  3. 消费失败的消息不会重投

二、部署

1、docker-compose编排镜像

新版本已经支持 m 系列芯片部署了

yml 复制代码
services:
  mqnamesrv:
    image: apache/rocketmq:5.3.2
    container_name: mqnamesrv
    network_mode: host
    ports:
      - 9876:9876
    volumes:
      - /opt/docker/rocketmq/namesrv/logs:/home/rocketmq/logs
      - /opt/docker/rocketmq/namesrv/store:/home/rocketmq/store
    command: sh mqnamesrv

  mqbroker:
    image: apache/rocketmq:5.3.2
    container_name: mqbroker
    network_mode: host
    depends_on:
      - mqnamesrv
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912
    environment:
      - NAMESRV_ADDR=mqnamesrv:9876
    volumes:
      - /opt/docker/rocketmq/broker/logs:/home/rocketmq/logs
      - /opt/docker/rocketmq/broker/store:/home/rocketmq/store
      - /opt/docker/rocketmq/broker/conf:/home/rocketmq/conf
    command: sh mqbroker -c /home/rocketmq/conf/broker.conf  # 添加配置文件参数

  mqproxy:
    image: apache/rocketmq:5.3.2
    container_name: mqproxy
    network_mode: host
    depends_on:
      - mqbroker
      - mqnamesrv
    ports:
      - 8081:8081
    restart: on-failure
    environment:
      - NAMESRV_ADDR=mqnamesrv:9876
    volumes:
      - /opt/docker/rocketmq/proxy/logs:/home/rocketmq/logs
    command: sh mqproxy    

  dashboard:
    image: apacherocketmq/rocketmq-dashboard:latest
    container_name: dashboard
    network_mode: host
    depends_on:
      - mqproxy
    ports:
      - 8008:8082
    environment:
      - JAVA_OPTS=-Drocketmq.namesrv.addr=mqnamesrv:9876

brocker.conf

bash 复制代码
cat > /opt/docker/rocketmq/broker/conf/broker.conf << 'EOF'
heredoc> # Broker 基本配置
heredoc> brokerClusterName = DefaultCluster
heredoc> brokerName = broker-a
heredoc> brokerId = 0
heredoc> 
heredoc> # 删除文件时间点,默认凌晨4点
heredoc> deleteWhen = 04
heredoc> # 文件保留时间,默认48小时
heredoc> fileReservedTime = 48
heredoc> 
heredoc> # Broker 角色
heredoc> brokerRole = ASYNC_MASTER
heredoc> # 刷盘方式
heredoc> flushDiskType = ASYNC_FLUSH
heredoc> 
heredoc> # 重要:配置 Broker 对外暴露的 IP
heredoc> # 使用宿主机 IP,让外部应用可以连接
heredoc> brokerIP1 = 127.0.0.1
heredoc> 
heredoc> # 自动创建 Topic
heredoc> autoCreateTopicEnable = true
heredoc> # 自动创建订阅组
heredoc> autoCreateSubscriptionGroup = true
heredoc> 
heredoc> # NameServer 地址
heredoc> namesrvAddr = mqnamesrv:9876
heredoc> EOF

2、启动并访问控制台

运行,生成容器

bash 复制代码
docker compose up -d


访问RocketMQ控制台

3、测试发送消息

往test_topic发送一条消息

编辑消息进行发送

发送结果

看下 Message菜单栏,选择test_topic主题,可以看到一条消息

消息内容如下,与发送的消息一致。

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句