10分钟
Hadoop的配置
安装Hadoop后,对Hadoop进行配置。Hadoop的主要配置都存放在Hadoop-0.20.1/conf目录下,如下图所示。
(1)Hadoop-env.sh配置文件。
Hadoop-env.sh配置文件存放在conf中,在该文件中需要配置Java环境,要求Name Node与DataNode的配置相同。配置文件如下。
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/ccwan/jdk1.6.0_14
(2)配置conf/masters和conf/slaves文件,这两个文件只在NameNode节点上进行配置。
masters:192.166.0.4slaves:
192.166.0.3
192.166.0.5
(3)配置conf/core-site.xml、conf/hdfs-site.xml及conf/mapred-site.xml三个文件。它们的配置比较简单,要求在DataNode节点的配置相同。
① core-site.xml配置文件。
<configuration>
<!---globaproperties-->
<property>
<nameHadoop.tmp.dir</name>
<value>/home/hexianghui/tmp</value>
<description>baseforothertemporarydirectories.</description>
</property>
<!-filesystemproperties-->
<property>
<namefs.default.name</name>
<value>hdfs://192.166.0.4:9000</value>
</property>
</configuration>
② hdfs-site.xml配置文件。
注意:replication默认时为3,如果不修改,DataNode少于三台时就会报错。
<configuration>
<property>
<namedfs.replication</name>
<value>1</value>
</property>
</configuration>
③ mapred-site.xml配置文件。
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.166.0.4:9001</value>
</property>
</configuration>
学员评价