Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Rocketmq两主两从集群部署

Rocketmq两主两从集群部署

作者头像
茶半香初
发布于 2021-11-26 06:36:17
发布于 2021-11-26 06:36:17
80400
代码可运行
举报
文章被收录于专栏:程序员那点事程序员那点事
运行总次数:0
代码可运行

环境准备

准备两台服务器或者虚拟机

服务器一:192.***.*.31

服务器二:192.***.*.32

部署模式: 2M-2S-SYNC(两主两从同步写)

相关安装包存储路径:/root/svr/rocketmq

部署

下载安装包

Apache:

https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

Github:

https://github.com/apache/rocketmq/

解压

运行: unzip rocketmq-all-4.2.0-bin-release.zip -d /root/svr/rocketmq

配置host(给nameServer用)

命令: vim /etc/hosts

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
192.***.*.31 rocketmq1
192.***.*.32 rocketmq2

配置环境变量:vim /etc/profile

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
export ROCKETMQ_HOME=/root/svr/rocketmq
export PATH=$PATH::$ROCKETMQ_HOME/bin

执行:source /etc/profile

配置集群参数

命令(master): vim /root/svr/rocketmq/conf/2m-2s-sync/broker-a.properties

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
brokerClusterName=rocketmq-cluster
brokerName=broker-a
brokerId=0
namesrvAddr=rocketmq1:9876;rocketmq2:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10911
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
diskMaxUsedSpaceRatio=88
storePathRootDir=/root/svr/rocketmq/data/store
storePathCommitLog=/root/svr/rocketmq/data/store/commitlog
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

命令(slave) vim /root/svr/rocketmq/conf/2m-2s-sync/broker-b-s.properties

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
brokerClusterName=rocketmq-cluster
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1 
namesrvAddr=rocketmq1:9876;rocketmq2:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10922
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
diskMaxUsedSpaceRatio=88
storePathRootDir=/root/svr/rocketmq/data/store2
storePathCommitLog=/root/svr/rocketmq/data/store2/commitlog
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128
#角色
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

创建存储&日志文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir /root/svr/rocketmq/data (也要创建store文件夹)
mkdir /root/svr/rocketmq/data/store/commitlog
mkdir /root/svr/rocketmq/data/store/consumequeue
mkdir /root/svr/rocketmq/data/store/index

修改日志配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir -p /root/svr/rocketmq/logs
cd /root/svr/rocketmq/conf && sed -i 's#${user.home}#/root/svr/rocketmq#g' *.xml

注意logback.*.xml配置文件中${user.home}需要替换自己指定的目录

改参数

unbroker.sh,runserver.sh启动参数默认对jvm的堆内存设置比较大(不改启动不起来),如果是虚拟机非线上环境需要改下参数,大小可以根据自己机器来决定

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
默认大小
-Xms8g -Xmx8g -Xmn4g
改为:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

复制

scp 到其他服务器

scp -r rocketmq/ root@192.***.*.32:/root/svr/

启动服务

启动Nameserver服务

/root/svr/rocketmq/bin目录下执行命令:nohup sh mqnamesrv &

启动BrokerServer

/root/svr/rocketmq/bin目录下执行命令:nohup sh mqbroker -c /root/svr/rocketmq/conf/2m-2s-sync/broker-a.properties&

验证是否启动成功

输入命令jps或者查看rocketmq/logs下日志是否输出正常

查看集群监控状态

sh mqadmin clusterlist -n 192.***.*.31:9876

监控

源码下载地址

https://github.com/apache/rocketmq-externals.git

配置namesrv

rocketmq.config.namesrvAddr=192.***.*.31:9876

测试

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
export NAMESRV_ADDR=rocketmq1:9876
测试发送端
 > sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
测试消费端
 > sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

服务停止

/root/svr/rocketmq/bin目录下执行命令或者jps查看进程号 kill -9 pid

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
sh mqshutdown broker
sh mqshutdown namesrv
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/05/06 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
mysql集群之MYSQL CLUSTER
http://xuwensong.elastos.org/2014/01/13/ubuntu-%E4%B8%8Bmysql-cluster%E5%AE%89%E8%A3%85%E5%92%8C%E9%85%8D%E7%BD%AE/
全栈程序员站长
2022/09/06
2.9K0
mysql集群之MYSQL CLUSTER
Linux下搭建MySQL集群
一、MySQL集群简介 1、什么是MySQL集群 MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。 数据更新使用读已提交隔离级别(r
李鹏
2017/08/23
8K1
Linux下搭建MySQL集群
MySQL集群:高可用性DBMS
如果你在寻找一个不会发生单点故障的数据库管理系统,那么水平拓展的MySQL集群分布式多主架构将是您的最佳选择。MySQL集群可以通过MySQL和NoSQL接口访问,并且可以用来服务密集的读/写工作。
和风
2018/05/22
2.2K0
MySQL集群:高可用性DBMS
mysql-cluster集群原理介绍和搭建步骤(四个data/sql节点) (转)「建议收藏」
MySQL簇概述MySQL簇是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的簇。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不
Java架构师必看
2022/04/02
3.2K0
mysql-cluster集群原理介绍和搭建步骤(四个data/sql节点) (转)「建议收藏」
MySQL集群搭建实现高可用
MySQLCluster是MySQL适合于分布式计算环境的高实用、高冗余版本。Cluster的汉语是“集群”的意思。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。
萧晚歌
2020/08/19
3.3K0
高可用性、负载均衡的mysql集群解决方案
一、mysql的市场占有率 二、mysql为什么受到如此的欢迎 三、mysql数据库系统的优缺点 四、网络服务器的需求 五、什么是mysql的集群 六、什么是负载均衡 七、mysql集群部署和实现方法 八、负载均衡的配置和测试 九、Mysql集群系统的测试(测试方案+测试脚本+测试结果分析) l mysql的市场占有率 MySQL是世界上最流行的开源数据库,已有1100多万的击活安装,每天超过五万的下 载。MySQL为全球开发者、DBA和IT管理者在可靠性、性能、易用性方面提供了选 择。 第三方市场调查机
李海彬
2018/03/23
5K0
Windows Server 2008R2配置MySQL Cluster
配置环境   VMware:(版本10.0.01)   操作系统:Windows Server 2008 R2 Enterprise   VM1:192.168.220.103 管理节点(MGM),数据节点(NDBD1),SQL节点(SQL1)   VM2:192.168.220.104 数据节点(NDBD2),SQL节点(SQL2)   MySQL Cluster版本:7.3.7 (MSI Installer)  下载地址:http://dev.mysql.com/downloads/cluste
Porschev
2018/01/16
1.7K0
Windows Server 2008R2配置MySQL Cluster
MySQL NDB Cluster实战
前言 本文来自睿哲科技的张树杰同学分享MySQL NDB集群的基础知识和搭建,非常赞! 希望越来越多的同学一起来分享,帮助他人,也收获成长,每季度分享排名第一的同学有惊
大数据和云计算技术
2018/03/08
4.6K0
MySQL NDB Cluster实战
手把手教你用Mysql-Cluster-7.5搭建数据库集群
当你的业务到达一定的当量,肯定需要一定数量的数据库来负载均衡你的数据库请求,我在之前的博客中已经说明了,如何实现负载均衡,但是还有一个问题就是数据同步,因为负载均衡的前提就是,各个服务器的数据库是数据同步的。在业务量不大的时候,我们会使用主从复制的方法实现服务器数据同步,一主多从或者是双主等,但是虽然进行了读写分离,但是对于读的方法限制还是比较大,所以解决数据同步的问题就是数据库集群的意义。我这里使用mysql官网提供的mysql-cluster实现集群。(到文章发布前的最新版本的安装教程,把网上踩的坑都踩过了一遍;)
MonroeCode
2018/01/10
1.9K0
mysql集群搭建教程-mysql+windows篇
​搭建MySQL集群,首先看了一些关于集群的资料,然后根据步骤一步步的整,遇到了一些问题,在这里把我遇到的问题以及解决方法分享出来。​
张哥编程
2024/12/17
4430
mysql集群搭建教程-mysql+windows篇
MySQL数据库,详解MySQL分布式集群搭建
搭建MySQL分布式集群,例如:利用MySQL cluster ,MySQL proxy,MySQL replication,drdb等等,有人会问MySQL集群意义是什么呢?为一个数据库减轻负担,说白了就是减少sql排队队列中的sql的数量,举个例子:有10个sql请求,如果放在一个数据库服务器的排队队列中,他要等很长时间,如果把这10个sql请求,分配到5个数据库服务器的排队队列中,一个数据库服务器的队列中只有2个,这样等待时间是不是大大的缩短了呢?这已经很明显了。下面我们来看看如何具体的搭建一个MySQL分布式集群。
用户1289394
2021/03/29
2.9K0
MySQL8 中文参考(八十九)
TCP/IP 是 NDB 集群中所有节点之间连接的默认传输机制。通常情况下,不需要定义 TCP/IP 连接;NDB 集群会自动为所有数据节点、管理节点以及 SQL 或 API 节点设置这些连接。
ApacheCN_飞龙
2024/06/26
1810
在Windows7中搭建Mysql Cluster
登录windows时最好用Administor登录(特别是管理节点,用其它用户登录了一次,之后就搭建不了,总是出现"修改不了一些文件的错误"),不然程序没有权限修改某些文件。
克虏伯
2019/04/15
2.1K0
mysql-cluster集群搭建
官方网站下载mysql-cluster-gpl-7.5.7-linux-glibc2.12-x86_64.tar.gz (mysql集群)
93年的老男孩
2019/12/18
1.7K0
【MySQL集群】——在Windows环境下配置MySQL集群
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/details/47441743
DannyHoo
2018/09/13
3.3K0
【MySQL集群】——在Windows环境下配置MySQL集群
MySQL8 中文参考(八十七)
作为 NDB Cluster 的一部分的 MySQL 服务器在一个主要方面与普通(非集群)MySQL 服务器不同,即它使用NDB存储引擎。这个引擎有时也被称为NDBCLUSTER,尽管更倾向于使用NDB。
ApacheCN_飞龙
2024/06/26
2360
百度架构师是怎样搭建MySQL分布式集群?
MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。
慕容千语
2019/06/06
5950
百度架构师是怎样搭建MySQL分布式集群?
MySQL8 中文参考(八十五)
对于一般的 X 插件监控,请使用其公开的状态变量。参见第 22.5.6.3 节,“X 插件状态变量”。有关专门监视消息压缩效果的信息,请参见 X 插件的连接压缩监控。
ApacheCN_飞龙
2024/06/26
2480
MySQL8 中文参考(八十五)
MySQL Cluster 简介
MySQL Cluster 是官方推出的基于 NDB(Network DataBase)存储引擎的高可用和可伸缩的分布式数据库系统。
恋喵大鲤鱼
2023/10/12
8520
MySQL Cluster 简介
使用Galera部署MariaDB集群
使用Galera进行MariaDB复制可为站点数据库添加冗余。通过数据库复制,多个服务器充当数据库集群。数据库群集对于高可用性网站配置特别有用。本教程使用三个单独的腾讯云CVM服务器来配置数据库复制,并创建相关数据库集群。
圣人惠好可爱
2018/08/20
1.3K0
相关推荐
mysql集群之MYSQL CLUSTER
更多 >
LV.0
这个人很懒,什么都没有留下~
作者相关精选
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验