全版本下载地址： https://archive.apache.org/dist/zookeeper/ 这里我选择3.5.7这个版本 https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。我们本次主要完成搭建实际生产环境中比较常用的完全分布式模式，搭建完全分布式模式之前需要对集群部署进行提前规划，不要将过多的服务集中到一台节点上，我们将负责管理工作的namenode和ResourceManager分别部署在两台节点上，另外一台节点上部署SecondaryNamenode，所有节点均承担Datanode和Nodemanager角色，并且datanode和nodemanager通常存在同一节点上，所有角色尽量做到均衡分配。
由于 HBase 是以 HDFS 作为底层存储文件系统的，因此部署好 Hadoop 并启动服务是 HBase 部署的先决条件。我们将在《第三篇：Hadoop部署配置及运行调试(下) - HA完全分布式》中部署的 Hadoop 上，以完全分布式模式来安装部署并运行 HBase.
vi /etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同）
由于ResourceManager和NameNode还有SecondaryNameNode比较消耗资源，顾三个配置分别配置到不同的主机上
https://www.psvmc.cn/article/2022-03-31-bigdata-environment.html
'readonly' option is set (add ! to override) 查看5.1解决。
伪分布式和分布式区别：伪分布式配置文件完全按照分布式配置文件配置，只不过所有东西配置在一台服务器上。
hadoop集群配置 1.多台机器ssh免密配置 修改用户名 # 1.更改hostname hostnamectl --static set-hostname <主机名> scp传输文件 scp <文件路径> <目标账号@地址>: 目标路径 scp /etc/hosts root@hadoop2: /etc/ ssh免密登录 # 配置公钥 ssh-keygen # 配置免密登录 ssh-copy-id <目标ip> 2. 多台主机时间核对 所有机器安装ntp yum -y
在生产环境的CDH集群中，为了分开集群对网络的使用会为集群配备两套网络（管理网段和数据网段），数据网段主要用于集群内部数据交换，一般使用万兆网络以确保集群内数据传输性能，管理网段主要用于集群管理，一般使用千兆网络。一般情况下在集群外进行集群管理和数据传输的都是通过千兆网络进行交互，在集群外是无法直接访问集群内的万兆网络。
2）文档查看地址：https://spark.apache.org/docs/3.1.3/
为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。
所谓Kafka伪分布式，就是一个节点启动多个Kafka服务，只需要新增加server.properties配置文件，并按照新的配置文件再启动一个服务即可，当然数量可以看自己心情，我这里就再启动一个kafka服务
1.搭建Hadoop环境需要Java的开发环境，所以需要先在LInux上安装java
本地模式是最简单的部署模式，所有模块都运行在一台机器的单个JVM进程中，使用的是本地文件系统，而不是HDFS. 本地模式主要是用于本地开发过程中的运行调。下载Hadoop安装后不用进行任何的配置，默认的就是本地模式。
本期主要介绍 Hadoop HA 完全分布式模式的部署。HA 完全分布式模式（Highly Available Fully-Distributed Mode）是生产环境上最常见的 Hadoop 安装部署方式。HA 即高可用，是指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到集群中的其他备用机器上去，以保证服务的高可用性。
前言 前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！ 一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone Mode） -默认情况下，Hadoop即处于该模式，用于开发和调式。 -不对配置文件进行修改。 -使用本地文件系统，而不是分布式文件系统。 -Hadoop不会启动NameNode、DataNode、JobTracker、Task
在集群模式下，还有一个重要的配置项，server.A=B:C:D，其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的IP地址；C 是这个服务器与集群中的 Leader 服务器交换信息的端口；D 是集群中的 Leader 服务器挂了之后重新进行选举新的 Leader时服务器相互通信的端口。由于集群环境的IP地址不同，所以3台服务器的配置文件可以保持完全相同。
1、常用网络管理命令 2、网络配置 3、修改主机名称 4、主机映射 5、防火墙 6、系统启动级别 7、用户和用户组 8、为用户配置sudoer权限 9、文件权限管理 10、打包和压缩
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
配置Source用于监控hive.log文件，配置Sink输出数据到下一级Flume。
本文为大数据基础系列 4：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析，以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。
Hadoop是Apache的一个伪分布式文件系统的开源项目。作者名为Doug Cutting，Hadoop项目是他通过Google的发布三篇论文所启发，分别为GFS、MapReduce和BigTable。Hadoop最受欢迎是致力于搜索大量数据进行分类工具。
storm可以看做是跟hadoop平行的产品，部署storm并不依赖于hadoop 而之前部署的hbase、hive、spark等都或多或少的依赖hadoop 这里简单记录一下storm的部署过程 需要下载包：
大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。
在上文的基础上本文来介绍下zookeeper的集群搭建。准备环境如果不清楚的可以参考上文:
前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！
http://www.apache.org/dyn/closer.cgi/hadoop/common/
本文详细记录在开发服务器CentOS 6.5上搭建Hadoop的详细过程。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及通过scp命令向服务器拷贝文件等依赖ssh连接的操作。所以，配置本地环境跟服务器之间的ssh免密码连接可以有效的提升工作效率。 由于我本机已经生成过公钥，所以我只需将已有的公钥拷贝到服务器即可。推荐使用ssh-copy-id命令，简单又不会出错。手动copy 再append的公钥文件尾，容易因为操作问题，造成无法正确识别公钥。 注：如果你没有生成过公
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
从 1970 年开始，大多数的公司数据存储和维护使用的是关系型数据库,大数据技术出现后，很多拥有海量数据的公司开始选择像Hadoop的方式来存储海量数据。
zookeeper服务器是用Java创建的，运行在JVM之上。需要安装JDK7以上版本（最好JDK8或以上）。
在hadoop101、hadoop102和hadoop103，这三个节点上部署Zookeeper。
执行步骤：（1）配置集群（2）启动、测试集群增、删、查（3）执行wordcount案例
由于 Spark 是计算框架，还需要有底层存储系统、资源协调管理、分布式协作管理等框架等进行支撑，因此我们这里使用在《万字+50图，详解 Hadoop HA 完全分布式部署配置及运行调试》中部署的 Hadoop 作为 Spark 的存储及管理系统，在此基础上以 HA 模式来安装部署并运行 Spark 集群。
Hadoop 从 2.x 开始，逐渐演变成：HDFS，YARN，MapReduce 三大应用模块，这三个应用模块分别的能力和作用是：
/home/centos/software/hadoop-3.1.3.tar.gz
森哥/洋哥hadoop系列，非常适合初学者： Hive 元数据表结构详解 HDFS学习：HDFS机架感知与副本放置策略 Yarn【label-based scheduling】实战总结（二） Yarn
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 ==注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。 == 开启日志聚集功能具体步骤如下：
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。
1．集群规划 在hadoop002、hadoop003和hadoop004三个节点上部署Zookeeper。 2．解压安装 （1）解压Zookeeper安装包到/opt/module/目录下 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ （2）同步/opt/module/zookeeper-3.4.10目录内容到hadoop003、hadoop004 xsync zookeeper-3.4.10/ 3．配置服务器编号 （1）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData mkdir zkData （2）编辑myid文件 添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码 vi myid 在文件中添加与server对应的编号： 2 （3）拷贝配置好的zookeeper到其他机器上 xsync zkData/ 并分别在hadoop003、hadoop004上修改myid文件中内容为3、4
zookeeper是一个自动管理分布式集群的一个工具，以实现集群的高可用。比如集群中的一个机器挂掉了，没有zookeeper的话就得考虑挂一个机器对剩下集群工作的影响，而有了zookeeper，它就能自动帮你协调这些事儿。
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：
1、虚拟机安装 首先需要在windows上安装vmware和ubuntu虚拟机，这里就不多说了 vmware下载地址：直接百度搜索，使用百度提供的链接下载，这里附上一个破解码 5A02H-AU243-
根据文章内容总结的摘要
最近因为某些原因学习接触到了开源的大数据框架:Hadoop，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储，详细概念知识背景我这就不介绍了，各位自行学习。
在job文件夹下创建Flume Agent配置文件flume-telnet-logger.conf。 [atguigu@hadoop102 job]$ touch flume-telnet-logger.conf
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
