最近闲来无事,和朋友一起想学习Hadoop,最晚弄机器的弄到两点多,今天一起动手安装Hadoop的环境,刚开始也是一头雾水,Hadoop官网的教程我也是醉了,说的牛头不对马嘴,最后只能通过各种百度解决了问题,最后把安装的一些操作都记录下来,希望可以帮助到后来人
这里我们使用了两台腾讯云的机器以及一台阿里云的机器,本来是准备搭建一个Hadoop集群的,但是由于两个人都没有任何的大数据的经验,所以先在我的机器上部署了一套单机版的Hadoop测试一下,看看能不能行 * 操作系统:centOS 7.3 * JAVA版本:jdk1.8 * Hadoop版本:Hadoop2.9.0(binary)
这里顺带附上Hadoop的下载地址 http://hadoop.apache.org/releases.html
/user/local/java
目录下tar -zxvf yourjavajdkname
sudo vim + /etc/profile
export JAVA_HOME=/usr/local/java/java_1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib
注:java1.8是我本人将jdk解压后的文件夹重命名为java_1.8source /etc/profile
编译一下sudo vim + /etc/hosts
yum -y install expect
unzip ssh_p2p
如果没有unzip命令,先安装unzipyum -y install unzip
vim /ssh_p2p/deploy_data/resource
adress=(
"IP,登录账号,登录密码,free"
"IP,登录账号,登录密码,free"
"IP,登录账号,登录密码,free"
)
chmod u+x start.sh
./start.sh
到这里我们为后面做安装集群的准备就好了
tar -zxvf hadoopfilename
sudo vim + /usr/local/hadoop/hadoop-2.9.0/etc/hadoop
echo ${JAVA_HOME}
输出javaHome的路径,得到了javaHome的路径后,添加下面代码
export JAVA_HOME = /usr/local/java/java_1.8
,这是我本人的JavaHome路径,
*然后配置Hadoop的环境变量,和我们配置java的环境变量一样,使用以下命令
sudo vim + /etc/profile
,source /etc/profile
编译让我们刚刚修改生效http://yourIP:50070
就可以看到效果了,如果没有的话,证明上面没有配置好,<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
到这里Hadoop配置工作就完成了,集群的配置以后配置成功了再写成教程发出来,最后感谢大神。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。