No.1 硬件配置
Centos 7 64位
IP:192.168.42.129
主机名:admin
安装用户:root/root
新建用户: hadoop/hadoop
创建用户:useradd -d /user/hadoop -m hadoop
用户密码:passwd hadoop
用useradd新增的用户不能直接用ssh远程访问,需要修改ssh相关配置,如下:
添加:
No.2 安装JDK
安装JDK1.7或者以上版本。这里以jdk1.7.0_79为例。
2.1、下载jdk-7u79-Linux-x64.gz,解压到/usr/Java/jdk1.7.0_79。
2.2、在/root/.bash_profile中添加如下配置:
2.3、使环境变量生效
2.4、安装验证
No.3 配置SSH无密码登陆
验证ssh
不需要输入密码即可登录。
No.4 安装Hadoop2.74.1、下载Hadoop2.7.14.2、解压安装
1)复制 Hadoop-2.7.1.tar.gz 到/usr/hadoop目录下并执行解压:
2)在/usr/hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录
3)设置环境变量
4),使环境变量生效
4.3,Hadoop配置
伪分布式安装:只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker
1)配置hadoop-env.sh
2)配置yarn-env.sh
3)配置core-site.xml 添加如下配置:
4)配置hdfs-site.xml 添加如下配置
5)配置mapred-site.xml 添加如下配置:
6)配置yarn-site.xml 添加如下配置:
4.4、Hadoop启动
1)格式化namenode
2)启动NameNode 和 DataNode 守护进程
3)启动ResourceManager 和 NodeManager 守护进程
4.5、启动验证
执行jps命令,有如下进程,说明Hadoop正常启动
4.6、打开浏览器输入:
如果无法访问,则查看linux系统是否被防火墙拦截了。
·end·
- 如果喜欢,快分享给你的朋友们吧 -
我们一起愉快的玩耍吧
领取专属 10元无门槛券
私享最新 技术干货