与Hadoop集群建立连接
在Eclipse界面中,与Hadoop集群建立连接,在Map/Reduce Locations界面中右击,弹出选项条,选择New Hadoop Location命令,然后弹出一个窗体,如下图所示。
填写连接Hadoop集群的信息如下图所示。
注意:上图中的标注的地方是需要特别关注的地方。
(1)Location Name:可以填写任意值,它表示一个Map/Reduce Location标识。
(2)Map/Reduce Master栏填写如下。Host文本框中填写192.166.1.2(Master.Hadoop的IP地址)。Port文本框中填写9001。
(3)DFS Master栏填写如下。
选择Use M/R Master host复选框(因为NameNode和JobTracker都在一个机器上)。Port文本框中填写9000。
(4)Username文本框中填写hadoop(系统管理员)。
注意:Host、Port分别为在mapred-site.xml、core-site.xml中配置的地址及端口。
打开Advanced parameters选项卡,将其中的Hadoop.tmp.dir选项修改成Hadoop集群中设置的地址,Hadoop集群是/usr/hadoop/tmp,这个参数在core-site.xml中进行了配置,如下图所示。
单击finish按钮,回到Eclipse软件界面,在Map/Reduce Locations界面中出现Win7ToHadoop连接信息,这就是刚刚建立的名为Win7ToHadoop的Map/Reduce Location连接,如下图所示。
学员评价