如何搭建Hadoop伪分布式集群,本文将详细介绍。
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
mkdir /bigdata
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata
cd /bigdata/hadoop-2.6.5/etc/hadoop
export JAVA_HOME=/usr/lib/jvm/java
<configuration>
<!-- 配置hdfs的namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
<property>
<!-- 配置Hadoop运行时产生数据的存储目录,注意:不是临时数据 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/local/var/hadoop/tmp/hadoop~${user.name}</value>
</property>
</configuration>
<configuration>
<!-- 指定HDFS存储数据的副本数据量-->
<property>
<name>dfs.replication</name>
<value>1</value>
<property>
</configuration>
<configuration>
<!-- 指定MapReduce编程模型运行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<property>
</configuration>
<configuration>
<!-- 指定YARN的resourcemanager的地址(伪分布式时就是主机名,localhost或IP地址都行) -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
<property>
<!-- MapReduce执行shuffle时获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<property>
</configuration>
添加主机ip与主机名的映射:
192.168.29.188 master
即格式化HDFS(的namenode),
cd hadoop/hadoop-2.6.5/bin
hadoop namenode -format
cd hadoop/hadoop-2.6.5/sbin
//在hadoop-2.x中,推荐使用start-dfs.sh和start-yarn.sh来分别启动
start-all.sh
8707 DataNode
8580 NameNode
9013 ResourceManager
8873 SecondaryNameNode
18057 Application
9308 NodeManager
17644 Jps
访问HDFS的管理界面:ip:50070
访问YARN的管理界面:ip:8088
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。