mac下:
brew install openjdk@8
linux下:
redhat 系 : yum install java-1.8.0-openjdk
debian系: apt-get install openjdk-8-jdk
设置环境变量
export PATH="/usr/local/opt/openjdk@8/bin:$PATH"
在hadoop官网下载hadoop 2.10.1, 下载后放到我们的文件夹中,然后解压。
tar -xzf hadoop-2.10.1
然后将HADOOP_HOME的设置路径设置和系统路径放入$HOME/.bashrc中,并且执行该文件
echo "export HADOOP_HOME=$PWD/hadoop-2.10.0" >> $HOME/.bashrc
echo "PATH=$PATH:$HADOOP_HOME/bin" >> $HOME/.bashrc
. $HOME/.bashrc
将JAVA_HOME改成当前机器的JAVA_HOME路径。
该文件位于 ${HADOOP_HOME}/etc/hadoop,这里添加以下内容至 core-site.xml 文件,设置 Hadoop 的临时目录和文件系统。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>${HADOOP_HOME}/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
添加以下内容至 hdfs-site.xml 文件。dfs.replication 通常为3, 由于我们只有一台主机和一个伪分布式模式的 DataNode,将此值修改为1。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>${HADOOP_HOME}/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>${HADOOP_HOME}/tmp/dfs/data</value>
</property>
将 mapred-site.xml.template 重命名为 mapred-site.xml,并向 mapred-site.xml 文件添加以下内容。设置数据处理框架为 yarn。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
添加以下内容至 yarn-site.xml。
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:9000</value>
</property>
</configuration>
1) 第一次启动Hadoop,需要对 NameNode 进行格式化,后续启动不再需要执行此步骤。
hadoop namenode -format
2) 启动 HDFS:进入Hadoop 安装目录下的 sbin
目录,并启动HDFS。
cd $HADOOP_HOME/sbin ./start-dfs.sh
停止 Hadoop 方法如下
stop-dfs.sh
3) 可以访问 http://localhost:50070/dfshealth.html#tab-overview
来查看 Hadoop的启动情况。
4) 启动 yarn
进入Hadoop 安装目录下的sbin
目录, 只需start-yarn.sh,并启动 yarn。访问localhost:8088
可以查看资源管理页面,如下图所示。