基于 KeepAlived + HAProxy 搭建 RabbitMQ 高可用负载均衡集群

                VIP: 192.168.61.159
               ┌───────────────────┐
               │   KeepAlived      │
               │   (Master)        │
      ┌────────┴────────┐          │
      │   HAProxy       │          │
      │   192.168.61.156│          │
      └────────┬────────┘          │
               │                   │
┌──────────────┼───────────────────┼──────────────┐
│              │                   │              │
│   ┌──────────┴─────────┐ ┌──────┴────────┐     │
│   │ RabbitMQ (Memory)  │ │RabbitMQ(Memory)│     │
│   │ 192.168.61.157     │ │192.168.61.156  │     │
│   └────────────────────┘ └────────────────┘     │
│                                                 │
│         ┌──────────────────────┐               │
│         │ RabbitMQ (Disk)      │               │
│         │ 192.168.61.158       │               │
│         └──────────────────────┘               │
└─────────────────────────────────────────────────┘

# 三台机器同步执行
cd /usr/local/soft
wget https://github.com/rabbitmq/erlang-rpm/releases/download/v23.1/erlang-23.1-1.el7.x86_64.rpm
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.9/rabbitmq-server-3.8.9-1.el7.noarch.rpm

yum install -y erlang-23.1-1.el7.x86_64.rpm
yum install -y rabbitmq-server-3.8.9-1.el7.noarch.rpm

# 启用管理插件
rabbitmq-plugins enable rabbitmq_management

# 1. 同步 .erlang.cookie
# 所有节点必须保证该文件内容一致
chmod 600 /var/lib/rabbitmq/.erlang.cookie
scp /var/lib/rabbitmq/.erlang.cookie root@rmq157:/var/lib/rabbitmq/
scp /var/lib/rabbitmq/.erlang.cookie root@rmq158:/var/lib/rabbitmq/

# 2. 配置 hosts
cat >> /etc/hosts << EOF
192.168.44.156 rmq156
192.168.44.157 rmq157
192.168.44.158 rmq158
EOF

# 3. 启动并加入集群
# 在 rabbitmq-3 (磁盘节点) 执行：
rabbitmq-server -detached
rabbitmqctl start_app

# 在 rabbitmq-1 和 rabbitmq-2 执行：
rabbitmq-server -detached
rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@rmq158
rabbitmqctl start_app

# 4. 设置镜像队列
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

yum install -y haproxy

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy # 改变当前工作目录
pidfile /var/run/haproxy.pid # haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
maxconn 4000 # 最大连接数，默认4000
user root # 默认用户
group root # 默认组
daemon # 创建1个进程进入deamon模式运行。此参数要求将运行模式设置为daemon
stats socket /var/lib/haproxy/stats # 创建监控所用的套接字目录
#---------------------------------------------------------------------
# defaults settings
#---------------------------------------------------------------------
# 注意：因为要使用tcp的负载，屏蔽掉与http相关的默认配置
defaults
mode http # 默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
log global
# option httplog # 采用http日志格式
option dontlognull # 启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器
# option http-server-close # 每次请求完毕后主动关闭http通道
# option forwardfor except 127.0.0.0/8 # 如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
option redispatch # serverId对应的服务器挂掉后,强制定向到其他健康的服务器
retries 3 # 3次连接失败就认为服务不可用，也可以通过后面设置
# timeout http-request 10s 
timeout queue 1m
timeout connect 10s # 连接超时时间
timeout client 1m # 客户端连接超时时间
timeout server 1m # 服务器端连接超时时间
# timeout http-keep-alive 10s
timeout check 10s
maxconn 3000 # 最大连接数
###################### 打开haproxy的监测界面###############################
listen status
bind 0.0.0.0:9188
mode http
stats enable
stats refresh 30s
stats uri /stats #设置haproxy监控地址为http://localhost:9188/stats
stats auth admin:123456 #添加用户名密码认证
stats realm (Haproxy\ statistic)
stats admin if TRUE
######################监听rabbitmq的web操作页面############################
listen rabbitmq_admin
bind 0.0.0.0:15670
server rabbitmq-1 192.168.61.156:15672
server rabbitmq-2 192.168.61.157:15672
#######################监听rabbimq_cluster #################################
listen rabbitmq_cluster
bind 0.0.0.0:5670
mode tcp
#负载均衡算法（#banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数）
balance roundrobin

#check inter 2000 是检测心跳频率
#rise 2是2次正确认为服务器可用
#fall 2是2次失败认为服务器不可用
server rabbit1 192.168.61.156:5672 check inter 5000 rise 2 fall 2
server rabbit2 192.168.61.157:5672 check inter 5000 rise 2 fall 2

systemctl start haproxy
systemctl enable haproxy

yum install -y keepalived

global_defs {
     router_id NodeA      # 起一个唯一的名字，不能与备机相同
}

vrrp_script chk_haproxy {
    script "/etc/keepalived/check_haproxy.sh"
    interval 5
    weight 2
}

vrrp_instance VI_1 {
    state MASTER           # 这里标记为主
    interface enp0s3      # 这里的必须和你的网卡一致，ipconfig获得
    virtual_router_id 1  # 这里表示路由的唯一标识与备机一致
    priority 100                 # 配置优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass root  # 配置认证密码
    }
    virtual_ipaddress { # 配置虚拟ip地址，就是开放的地址，与本机ip不同
        192.168.61.159
    }

    track_script {
        chk_haproxy
    }
}

global_defs {
   router_id NodeB
}

vrrp_script chk_haproxy {
script "/etc/keepalived/check_haproxy.sh"
interval 5
weight 2
}

vrrp_instance VI_1 {
    state BACKUP   # 通过BACKUP表示该机器为备机
    interface enp0s3       # 与网卡一致，ipconfig获得
    virtual_router_id 1 # 与主机一致
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass root
    }  
    virtual_ipaddress { # 开放的虚拟地址
        192.168.61.159
    }

    track_script {
      chk_haproxy
    }
}

#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
    systemctl restart haproxy
    sleep 2
    if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
        systemctl stop keepalived
    fi
fi

chmod +x /etc/keepalived/check_haproxy.sh

systemctl start keepalived
systemctl enable keepalived

# 任意节点执行
rabbitmqctl cluster_status

systemctl stop haproxy

systemctl stop rabbitmq-server

ConnectionFactory factory = new ConnectionFactory();
factory.setHost("192.168.61.159");
factory.setPort(5670);
factory.setUsername("admin");
factory.setPassword("admin");
Connection connection = factory.newConnection();