Hadoop 集群安装

文章目录

• • 1. Step8:NameNode format（格式化操作）
  • 2. Hadoop集群启动关闭-手动逐个进程启停
  • 3. Hadoop集群启动关闭-shell脚本一键启停
  • 4. Hadoop集群启动日志
  • 5. Hadoop Web UI页面-HDFS集群
  • 6. Hadoop Web UI页面-YARN集群

1. Step8:NameNode format（格式化操作）

• 首次启动HDFS时，必须对其进行格式化操作。
• format本质上是初始化工作，进行HDFS清理和准备工作
• 命令：

hdfs namenode -format

2. Hadoop集群启动关闭-手动逐个进程启停

• 每台机器上每次手动启动关闭一个角色进程
• HDFS集群

hdfs --daemon start namenode|datanode|secondarynamenode
hdfs --daemon stop  namenode|datanode|secondarynamenode

• YARN集群

yarn --daemon start resourcemanager|nodemanager
yarn --daemon stop  resourcemanager|nodemanager

3. Hadoop集群启动关闭-shell脚本一键启停

• 在node1上，使用软件自带的shell脚本一键启动
• 前提：配置好机器之间的SSH免密登录和workers文件。
• HDFS集群

start-dfs.sh 
stop-dfs.sh 

• YARN集群

start-yarn.sh
stop-yarn.sh

• Hadoop集群

start-all.sh
stop-all.sh 

4. Hadoop集群启动日志

• 启动完毕之后可以使用jps命令查看进程是否启动成功

• Hadoop启动日志 日志路径：/export/server/hadoop-3.1.4/logs/

5. Hadoop Web UI页面-HDFS集群

• 地址：http://namenode_host:9870 其中namenode_host是namenode运行所在机器的主机名或者ip 如果使用主机名访问，别忘了在Windows配置hosts

• HDFS文件系统Web页面浏览

6. Hadoop Web UI页面-YARN集群

• 地址：http://resourcemanager_host:8088 其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip 如果使用主机名访问，别忘了在Windows配置hosts