hadoop-3.2.0------>入门六 伪分布式 YARN运行MapReduce

一、配置yarn配置文件：

1、进入到hadoop根目录下

2、配置yarn-env.sh（命令：vi etc/hadoop/yarn-env.sh）

将jdk安装路径配置到配置文件最下方（配置文件写法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）

3、配置yarn-site.xml （命令：vi etc/hadoop/yarn-site.xml ）

<!--Reducer获取数据方式-->
                <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
                </property>
                <!--yarn的resourcemanager地址-->
                <property>
                  <name>yarn.resourcemanager.address</name>
                  <value>localhost</value>
                </property>

4、配置mapred-env.sh （命令：vi etc/hadoop/mapred-env.sh）

将jdk安装路径配置到配置文件最下方（配置文件写法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）

5、配置mapred-site.xml（命令：vi etc/hadoop/mapred-site.xml）

注意：如果没有mapred-site.xml文件，可以查看有没有mapred-site.xml.template文件，如果有将该文件重命名为mapred-site.xml，在进行下面操作。

将下面配置信息粘贴进去

               <!--指定MR运行在yarn上-->
                <property>
                      <name>mapreduce.framework.name</name>
                      <value>yarn</value>
                </property>
                <property>
                      <name>yarn.app.mapreduce.am.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.map.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.reduce.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>

二、起动集群

1、先查看namenode和datanode有没有启动，如果没启动先启动这两个节点

查看命令：jps

启动namenode命令：sbin/hadoop-daemon.sh start namenode

启动datanode命令：sbin/hadoop-daemon.sh start datanode

2、启动resourcemanager节点

命令：sbin/yarn-daemon.sh start resourcemanager

查看节点是否起来命令：jps

3、启动NodeManager节点

命令：sbin/yarn-daemon.sh start nodemanager

查看节点是否起来命令：jps

三、查看YARN的管理界面。

1、路径ip+8088，就会查看到如下页面