徐员外＃大数据实战：从0开始Hadoop 安装测试

1、虚拟机安装centos系统并进行环境配置

虚拟机版本：VMware-workstation-full-9.0.0-812388

Linux系统：centos6.4

centos系统的安装过程略，按照提示一步一步往下安装即可，第一次安装因为需要依赖Perl等，所以选择默认图形界面安装，安装好后进行VMNet08 NAT网络配置，需要注意虚拟机的网卡与centos网卡要在同一网段。

centos配置网络及IP

修改主机名和IP的映射关系

vi /etc/hosts

192.168.1.100 hadoop01

防火墙

查看防护墙状态

service iptables status

关闭

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭开机启动

chkconfig iptables off

安装jdk

sftp> put -r "D:\software \jdk-7u65-linux-i586.tar.gz"

安装至/home/app目录下

[hadoop@hadoop01 ~]$ tar -zxvf jdk-7u65-linux-i586.tar.gz-C app/

jdk环境变量

用root账号vi /etc/profile在文件末尾加入，wq保存退出

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source/etc/profile生效，进入任意目录，键入java -version

2、安装hadoop

上传安装包

sftp> put -r "D:\software \ hadoop-2.4.1.tar.gz"

解压安装至/home/app/hadoop目录下

[hadoop@hadoop01 ~]$ tar -zxvf hadoop-2.4.1.tar.gz -C app/hadoop/

配置环境变量

用root账号vi /etc/profile在文件末尾加入，wq保存退出

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

exportHADOOP_HOME=/home/hadoop/app/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新配置[hadoop@hadoop01 ~]source /etc/profile

观察hadoop主要结构，后续配置，文件操作，程序处理分析重点

修改配置文件

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://hadoop01:9000

/home/hadoop/app/hadoop-2.4.1/data/

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

dfs.replication

1

[hadoop@hadoop01 ~]$ vi/home/hadoop/app/hadoop-2.4.1/etc/hadoop/mapred-site.xml

yarn

格式化HDFS

hadoopnamenode –format

启动hadoop,全部启动用start-all.sh命令，第一次使用可以逐个启动

添加linux主机名和IP的映射关系

C:\Windows\System32\drivers\etc

192.168.2.100 hadoop01

验证是否启动成功

通过浏览器的方式验证(hdfs管理界面)或http://hadoop01:50030/验证(mr管理界面)

上传文件至hdsf

[hadoop@hadoop01 ~]$ hadoop fs -putjdk-7u65-linux-i586.tar.gz hdfs://hadoop01:9000/

从hdsf下载文件

[hadoop@hadoop01~]$ hadoop fs -get hdfs://hadoop01:9000/ jdk-7u65-linux-i586.tar.gz

运行一下mapreduce例子程序进行圆周率计算，先进入mapreduce目录

计算圆周率