首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >大数据ZooKeeper(二):ZooKeeper集群搭建

大数据ZooKeeper(二):ZooKeeper集群搭建

作者头像
Lansonli
修改于 2022-09-29 17:12:02
修改于 2022-09-29 17:12:02
54500
代码可运行
举报
文章被收录于专栏:Lansonli技术博客Lansonli技术博客
运行总次数:0
代码可运行

ZooKeeper集群搭建

Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台server组成。这是因为为了保证Leader选举(基于Paxos算法的实现)能过得到多数的支持,所以ZooKeeper集群的数量一般为奇数。

Zookeeper运行需要java环境,所以需要提前安装jdk。对于安装leader+follower模式的集群,大致过程如下:

  • 配置主机名称到IP地址映射配置
  • 修改ZooKeeper配置文件
  • 远程复制分发安装文件
  • 设置myid
  • 启动ZooKeeper集群

如果要想使用Observer模式,可在对应节点的配置文件添加如下配置:

peerType=observer  

其次,必须在配置文件指定哪些节点被指定为Observer,如:

server.1:node1:2181:3181:observer  

其次,必须在配置文件指定哪些节点被指定为 Observer,如: server.1:localhost:2181:3181:observer

这里,我们安装的是leader+follower模式

服务器IP

主机名

myid的值

192.168.88.161

node1

1

192.168.88.162

node2

2

192.168.88.163

node3

3

第一步:下载zookeeeper的压缩包,下载网址如下

http://archive.apache.org/dist/zookeeper/

我们在这个网址下载我们使用的zk版本为3.4.6

下载完成之后,上传到我们的linux的/export/software路径下准备进行安装

第二步:解压

在node1主机上,解压zookeeper的压缩包到/export/server路径下去,然后准备进行安装

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd /export/software

tar -zxvf zookeeper-3.4.6.tar.gz -C /export/server/

​​​​​​​第三步:修改配置文件

在node1主机上,修改配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd /export/server/zookeeper-3.4.6/conf/

cp zoo_sample.cfg zoo.cfg

mkdir -p /export/server/zookeeper-3.4.6/zkdatas/

vim  zoo.cfg

修改以下内容

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#Zookeeper的数据存放目录

dataDir=/export/servers/zookeeper-3.4.6/zkdatas

# 保留多少个快照

autopurge.snapRetainCount=3

# 日志多少小时清理一次

autopurge.purgeInterval=1

# 集群中服务器地址

server.1=node1:2888:3888

server.2=node2:2888:3888

server.3=node3:2888:3888

​​​​​​​第四步:添加myid配置

在node1主机的/export/server/zookeeper-3.4.6/zkdatas/这个路径下创建一个文件,文件名为myid ,文件内容为1

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
echo 1 > /export/server/zookeeper-3.4.6/zkdatas/myid

​​​​​​​第五步:安装包分发并修改myid的值

在node1主机上,将安装包分发到其他机器第一台机器上面执行以下两个命令

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
scp -r  /export/server/zookeeper-3.4.6/ node2:/export/server/

scp -r  /export/server/zookeeper-3.4.6/ node3:/export/server/

第二台机器上修改myid的值为2

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
echo 2 > /export/server/zookeeper-3.4.6/zkdatas/myid

第三台机器上修改myid的值为3

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
echo 3 > /export/server/zookeeper-3.4.6/zkdatas/myid

​​​​​​​第六步:三台机器启动zookeeper服务

三台机器分别启动zookeeper服务

这个命令三台机器都要执行

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/export/server/zookeeper-3.4.6/bin/zkServer.sh start

三台主机分别查看启动状态

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/export/server/zookeeper-3.4.6/bin/zkServer.sh  status
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/05/19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Zookeeper启动失败解决办法汇总——Error contacting service. It is probably not running.
jps 查看进程是正常的,但是 zkServer.sh status 查看的时候报错。
bboy枫亭
2021/12/07
6.2K0
Zookeeper启动失败解决办法汇总——Error contacting service. It is probably not running.
Zookeeper集群搭建
Zookeeper 是由Apache Handoop的子项目发展而来。是知名的互联网公司Yahoo创建的。Zookeeper为分布式应用提供了高效且可靠的分布式协调服务。
一百减一是零
2024/08/16
1930
Zookeeper 简介与环境搭建
  Zookeeper 是一个类似 linux、hdfs 的树形文件结构, zookeeper 可以用来保证数据在( Zookeeper ) 集群之间的数据的事务性一致性, zookeeper 也是我们常说的 CAP 理论中的 CP (强一致性)。
灰太狼学Java
2022/06/17
3550
Zookeeper集群搭建详细过程 | 附带详细过程截图
ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive)等等一些大数据组件。
大数据小禅
2022/05/31
9560
Zookeeper集群搭建详细过程 | 附带详细过程截图
大数据高可用技术之zookeeper3.4.5安装配置
下载地址:https://www.apache.org/dyn/closer.cgi/zookeeper/
静谧星空TEL
2022/05/10
3570
大数据高可用技术之zookeeper3.4.5安装配置
zookeeper集群搭建
最近公司用到了zookeeper做集群管理,这里按步骤记录一下其中的一些经验,也给后来的同学一些参考。由于这里只有一台服务器,因此搭建的其实是伪集群,多台服务器的搭建流程类似。 集群搭建环境: 发行版:CentOS-6.6 64bit 内核:2.6.32-504.el6.x86_64 CPU:intel-i7 3.6G 内存:2G 集群搭建步骤: 1. 确保机器安装了jdk [root@rocket ~]# java -version openjdk version "1.8.0_51" OpenJDK
三丰SanFeng
2018/01/16
9890
zookeeper集群搭建
【大数据技术基础 | 实验五】ZooKeeper实验:部署ZooKeeper
掌握ZooKeeper集群安装部署,加深对ZooKeeper相关概念的理解,熟练ZooKeeper的一些常用Shell命令。
Francek Chen
2025/01/22
1680
【大数据技术基础 | 实验五】ZooKeeper实验:部署ZooKeeper
Hadoop基础教程-第8章 Zookeeper(8.4 Zookeeper集群模式)
Running ZooKeeper in standalone mode is convenient for evaluation, some development, and testing. But in production, you should run ZooKeeper in replicated mode. 单机模式的ZooKeeper便于评估,开发和测试。但在生产中,我们应该以集群模式运行ZooKeeper。
程裕强
2022/05/06
2430
Hadoop基础教程-第8章 Zookeeper(8.4 Zookeeper集群模式)
zookeeper 集群搭建
  通过 VMware ,我们安装了三台虚拟机,用来搭建 zookeeper 集群,虚拟机网络地址如下:
IT可乐
2018/12/04
5230
zookeeper 集群搭建
大数据-Zookeeper
首先呢, Zookeeper 是分为服务端和客户端的, 客户端有 Java 的客户端, 有 Shell 命令行的客户端等, 客户端通过一个类似于文件系统的 API 来访问 Zookeeper 集群
cwl_java
2019/12/25
6900
kafka集群搭建&zookeeper集群搭建
1.安装准备 jdk-8u162-linux-x64.tar zookeeper-3.4.12.tar.gz kafka_2.11-2.0.0 .tgz
全栈程序员站长
2022/06/26
2.1K1
kafka集群搭建&zookeeper集群搭建
Zookeeper 集群部署
ZooKeeper是一个开源的分布式应用程序协调服务,是Google的Chubby一个开源的实现。ZooKeeper为分布式应用提供一致性服务,提供的功能包括:分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)、分布式锁(Distributed Lock)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。
Freedom123
2024/03/29
3330
Zookeeper 集群部署
zookeeper的安装和使用
原文链接:https://foochane.cn/article/2019062601.html
foochane
2019/07/02
7920
CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务
CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务 Zookeeper 概述 zookeeper实际上是yahoo开发的,用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难,其他的分布式系统没有必要 费劲重复造轮子,故随后的分布式系统中大量应用了zookeeper,以至于zookeeper成为了各种分布式系统的基础组件,其地位之重要,可想而知。著名的hadoop,kafka,dubbo 都是基于zookeeper而构建。 要
程序员鹏磊
2018/02/09
8090
初始ZooKeeper与集群搭建实例
Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。
星哥玩云
2022/07/04
2460
Zookeeper动态扩容详细步骤
上一篇文章分析了动态扩容的方法,并没有给出详细步骤,这次给出扩容的详细步骤。 首先分两种情况,第一种情况是以前是单机状态,现在将其扩展为多个机器的集群状态。另一种情况是以前是集群状态,现在扩展为更多的集群状态。 单机扩展 步骤 首先假设原机器ip为{OLD_SERVER},新机器为2台,{NEW_SERVER1}、{NEW_SERVER2},zookeeper的安装目录为{ZOO_HOME}。新机器的安装目录尽量和原机器保持一致,这样configure文件就可以统一管理,在所有机器上保持一致。 在新
gaofc
2018/05/09
4.6K0
ZooKeeper在线迁移实验
因为ZooKeeper的机制中,myid大的会向小的发起连接,而小的不会向大的发起连接。因此如果最后重启myid最小的机器,则其可能无法加入集群
莫韵
2019/03/26
2.1K1
【云原生进阶之PaaS中间件】第二章Zookeeper-2-安装部署
ERROR [master:3890:QuorumCnxManager$Listener@517] - Exception while listening
江中散人_Jun
2023/10/16
2740
【云原生进阶之PaaS中间件】第二章Zookeeper-2-安装部署
Zookeeper部署与动态扩容
最近在一直维护以前的一个实时计算的系统,用到了很多有关storm、kafka、zookeeper之类的知识。自己也一直在学习这些系统的架构、源码。
gaofc
2018/05/09
4.8K6
搭建Zookpeer集群环境
hostname ipaddress   subnet mask geteway
jwangkun
2021/12/23
3490
相关推荐
Zookeeper启动失败解决办法汇总——Error contacting service. It is probably not running.
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验