精通Zookeeper：详解分布式集群部署全程，掌握数据一致性、选举机制与集群容错能力

小白的大数据之旅

发布于 2024-11-20 17:57:25

42000

代码可运行

文章被收录于专栏：最新Python入门基础合集最新Python入门基础合集

运行总次数：0

代码可运行

本文具体介绍了如何配置Zookeeper集群，前面主要是一些理论知识，第五章是分布式集群安装的详细方法，跟着步骤来就可以了，关于Zookeeper的资料可以看这个资源

一、基本概念

Zookeeper是一个为分布式应用提供一致性服务的软件，是Google的Chubby一个开源的实现，也是Hadoop和Hbase的重要组件。它主要用来解决分布式集群中应用系统的一致性问题，提供的功能包括配置维护、域名服务、分布式同步、组服务等。

二、特点

高效可靠：Zookeeper以Fast Paxos算法为基础，通过选举产生Leader来确保集群事务处理的顺序性和数据的一致性。同时，它提供了高可靠性和顺序性的保证，确保数据更新的原子性和实时性。
全局数据一致：每个Server保存一份相同的数据副本，客户端无论连接到哪个Server，数据都是一致的。
丰富的数据结构：Zookeeper的数据模型在结构上和标准文件系统的非常相似，拥有一个层次的命名空间，都是采用树形层次结构，每个节点被称为Znode。Znode兼具文件和目录两种特点，可以存储数据，也可以作为子节点的容器。
Watcher机制：Zookeeper允许客户端向服务端注册一个Watcher监听，当服务端的一些事件触发了这个Watcher，就会向指定客户端发送一个事件通知来实现分布式的通知功能。

三、应用场景

Zookeeper在分布式系统中有许多应用场景，包括但不限于：

配置管理：管理分布式系统的配置信息，各个节点可以从Zookeeper中获取配置信息，当配置变化时，所有节点可以及时感知并进行相应调整。
命名服务：用作命名服务，类似于分布式的文件系统，允许应用程序在Zookeeper上创建、删除和查找节点，实现简单的命名空间管理。
分布式锁：提供分布式锁的支持，允许多个节点在共享资源上进行协调，避免并发访问冲突。
分布式队列：实现分布式队列，用于在多个节点之间传递消息和任务。
分布式选举：选举机制可以用来实现分布式系统中的Leader选举，确保在节点故障或变更时，集群中能够重新选举新的Leader。

四、内部实现原理

选举机制：Zookeeper集群中的所有节点都会通过一个Leader选举过程来选举出一个节点作为“领导者”(Leader)，负责处理客户端请求并保持集群中各个节点之间的一致性。选举算法基于Paxos协议的Zab(ZooKeeper Atomic Broadcast)协议。
数据一致性：ZooKeeper通过顺序一致性、原子性、单一视图和同步机制等方式来保证数据的一致性。它使用基于Paxos协议的Zab协议来确保所有节点上的数据副本都是一致的。

五、分布式安装

1．集群规划

在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

2．解压安装

上传安装包到/opt/software目录下

（1）解压Zookeeper安装包到/opt/module/目录下

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104

xsync zookeeper-3.4.10/

3．配置服务器编号

（1）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData

（2）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

[atguigu@hadoop102 zookeeper-3.4.10]$ cd zkData
[atguigu@hadoop102 zkData]$ touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

（3）编辑myid文件

[atguigu@hadoop102 zkData]$ vi myid

在文件中添加与server对应的编号：（直接写2就可以）

（4）拷贝配置好的zookeeper到其他机器上

[atguigu@hadoop102 zkData]$ xsync myid

并分别在hadoop102、hadoop103上修改myid文件中内容为3、4

4．配置zoo.cfg文件

（1）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

进入到/opt/module/zookeeper-3.4.10/conf目录下

[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

（2）打开zoo.cfg文件

[atguigu@hadoop102 conf]$ vim zoo.cfg

修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.4.10/zkData

增加如下配置

#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

（3）同步zoo.cfg配置文件

[atguigu@hadoop102 conf]$ xsync zoo.cfg

（4）配置参数解读

server.A=B:C:D。

A是一个数字，表示这个是第几号服务器,就是在配置文件中配置的，hadoop102配置的是2，hadoop103配置的是3,Hadoop104配置的是4

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

B是这个服务器的ip地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

这三台服务器上会选出一台作为Leader，其他的为follower

5．集群操作

（1）分别启动Zookeeper

一定要先把三台服务器上的Zookeeper都启动了之后再查看状态

[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

（2）查看状态

可以看到选举Hadoop103的服务器为Leader

[atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower