参考官方网站:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
一、准备条件
1、JDK
Hadoop 需要 Java 版本在1.6或以上, 运行java -version
在你的终端中,它会显示你电脑上安装的Java版本
2、SSH
生成SSH keys
首先确保远程登录(Remote Login)
是打开的,在系统配置(System Preferences)->分享(Sharing)
中可以设置,如果在终端中输入ssh localhost
有返回,则你已经配置好了SSH keys,如果没有,可新建:
ssh-keygen -t rsa -P ""
为了避免每次询问你的密码,可以授权你的公钥到本地:
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
现在应该可以使用SSH在你的电脑上了,执行:
ssh localhost
二、安装
1、安装homebrew
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)
2、使用brew 进行安装hadoop
brew install hadoop
3、配置环境变量 sudo vim /etc/profile
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH
4、配置hadoop
①打开目录
cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop
②添加下面的行到 hadoop-env.sh
:
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
③添加下面的行到core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/2.8.2/data</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
④添加下面的行到hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
⑤添加下面的行到mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三、初始化
我们必须格式化新安装的HDFS在我们启动运行后台程序前,格式并创新空的文件系统通过创建存储目录和初始化元数据。进入hadoop安装目录,执行
hadoop namenode -format
四、启动hdfs和yarn
./start-dfs.sh
./start-yarn.sh
五、验证
1、当启动完hdfs以及yarn可以打开浏览器,输入以下地址看是否能进入对应的页面
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有