云计算分布式框架 Hadoop

107课时
2.2K学过
8分

课程评价 (0)

请对课程作出评价:
0/300

学员评价

暂无精选评价
10分钟

Hadoop的配置

安装Hadoop后,对Hadoop进行配置。Hadoop的主要配置都存放在Hadoop-0.20.1/conf目录下,如下图所示。

(1)Hadoop-env.sh配置文件。

Hadoop-env.sh配置文件存放在conf中,在该文件中需要配置Java环境,要求Name Node与DataNode的配置相同。配置文件如下。

$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/ccwan/jdk1.6.0_14

(2)配置conf/masters和conf/slaves文件,这两个文件只在NameNode节点上进行配置。

masters:192.166.0.4slaves:
192.166.0.3
192.166.0.5

(3)配置conf/core-site.xml、conf/hdfs-site.xml及conf/mapred-site.xml三个文件。它们的配置比较简单,要求在DataNode节点的配置相同。

① core-site.xml配置文件。

<configuration>
<!---globaproperties-->
<property>
<nameHadoop.tmp.dir</name>
<value>/home/hexianghui/tmp</value>
<description>baseforothertemporarydirectories.</description>
</property>
<!-filesystemproperties-->
<property>
<namefs.default.name</name>
<value>hdfs://192.166.0.4:9000</value>
</property>
</configuration>

② hdfs-site.xml配置文件。

注意:replication默认时为3,如果不修改,DataNode少于三台时就会报错。

<configuration>
<property>
<namedfs.replication</name>
<value>1</value>
</property>
</configuration>

③ mapred-site.xml配置文件。

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.166.0.4:9001</value>
</property>
</configuration>