新手如何快速搭建Hadoop集群

千里之行，始于足下，在利用Hadoop进行学习和开发，首先需要安装环境，本文将介绍如何在linux系统快速安装部署hadoop集群。

01

环境准备

准备三台服务器，本文是安装64位centos6.7的三台虚拟机，关于如何创建在Windows创建虚拟机并安装centos系统再此就不介绍，创建过程简单，读者自行百度学习。

三台机器，一台作为master主节点，另两台作为slave从节点，具体IP地址规划如下：

192.168.15.128 （master）

192.168.15.129 （slave1）

192.168.15.130 （slave2）

02

设置主机名和关闭防火墙

1

设置主机名

linux系统更改系统主机名的方式有两种，分别为临时修改和永久修改，下面就简单介绍下这两种方式：

1、临时修改

[root@192 ~]# hostname master

[root@192 ~]# bash

[root@master ~]#

2、永久修改

编辑/etc/sysconfig/network配置文件，如：HOSTNAME=master

修改配置文件后，重启生效

2

关闭防火墙

为了避免在后续搭建过程中出现问题，我们首先将防火墙关闭。

1、关闭iptables

iptables -nvL #列出iptables规则

iptables -F #清除iptables规则

/etc/init.d/iptables save #报存iptables规则

/etc/init.d/iptables stop #关闭防火墙

如果不希望在开启时启动iptables服务，可以使用下面命令：

chkconfig iptables off

2、关闭selinux

selinux的关闭方式也有两种，分为临时关闭和永久关闭。

（1）临时关闭

setenforce 0

（2）永久关闭

编辑/etc/selinux/config配置文件，将SELINUX修改为：

SELINUX=disabled

修改后，重启服务器生效。

03

安装jdk

三个节点都需安装，在此以主节点master为例进行解释：

将hadoop安装包和jdk上传至linux服务器，修改权限，并执行jdk可执行文件。

将jdk目录移动到/usr/local下，修改/etc/profile配置文件。

在/etc/profile文件末尾增加以下内容：

export JAVA_HOME=/usr/local/jdk1.6.0_45

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

刷新配置文件/etc/profile，查看jdk是否安装成功。

04

安装配置hadoop

以下操作在主机点master上，解压hadoop压缩包，编辑masters配置文件，将内容设置为master。

编辑slaves文件，将内容改为：

[root@master conf]# vim slaves

slave1

slave2

编辑core-site.xml文件，增加：

编辑mapred-site.xml，增加：

编辑hdfs-site.xml，增加：

编辑hadoop-env.sh，在最后增加：

05

配置hosts

三台机器上都需要配置，下面以主节点master为例：

[root@master conf]# vim /etc/hosts

06

拷贝文件

将master上的hadoop-1.2.1分别拷贝至slave1、slave2上：

[root@master src]# scp -r hadoop-1.2.1 192.168.15.129:/usr/local/src/

[root@master src]# scp -r hadoop-1.2.1 192.168.15.130:/usr/local/src/

如果提示scp命令不存在或不成功，在三台机器上都安装openssh-clients， yum install -y openssh-clients

07

建立互信

建立互信关系，三个节点都要配置相同的authorized_keys。

验证互信关系是否配置成功，如配置成功，则登陆机器无需输入密码。

08

启动集群

检查hadoop集群是否启动成功，主节点master上查看，若安装成功，则有JobTracker、SecondaryNameNode、NameNode进程。

从节点slaves上查看，若安装成功，则有DataNode和TaskTracker进程。

至此，hadoop机器安装成功，下面利用hadoop进行简单的操作，如下：