MAC安装Hadoop2.8

week

发布于 2018-08-24 14:49:06

3.5K0

文章被收录于专栏：用户画像用户画像

参考官方网站：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

一、准备条件

1、JDK

Hadoop 需要 Java 版本在1.6或以上，运行java -version 在你的终端中，它会显示你电脑上安装的Java版本

2、SSH

生成SSH keys

首先确保远程登录(Remote Login)是打开的，在系统配置(System Preferences)->分享(Sharing)中可以设置，如果在终端中输入ssh localhost有返回，则你已经配置好了SSH keys,如果没有，可新建：

ssh-keygen -t rsa -P ""

为了避免每次询问你的密码，可以授权你的公钥到本地：

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

现在应该可以使用SSH在你的电脑上了，执行：

ssh localhost

二、安装

1、安装homebrew

ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)

2、使用brew 进行安装hadoop

brew install hadoop

3、配置环境变量 sudo vim /etc/profile

export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH

4、配置hadoop

①打开目录

cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop

②添加下面的行到 hadoop-env.sh :

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

③添加下面的行到core-site.xml

<configuration>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/Cellar/hadoop/2.8.2/data</value>
   <description>A base for other temporary directories.</description>
 </property> 
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
 </property>
</configuration>

④添加下面的行到hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

⑤添加下面的行到mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

三、初始化

我们必须格式化新安装的HDFS在我们启动运行后台程序前，格式并创新空的文件系统通过创建存储目录和初始化元数据。进入hadoop安装目录，执行

hadoop namenode -format

四、启动hdfs和yarn

./start-dfs.sh
./start-yarn.sh

五、验证

1、当启动完hdfs以及yarn可以打开浏览器，输入以下地址看是否能进入对应的页面

http://localhost:50070

http://localhost:8088

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017年12月06日，如有侵权请联系 cloudcommunity@tencent.com 删除

其他

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

其他

登录后参与评论

0 条评论

热度

MAC安装Hadoop2.8

MAC安装Hadoop2.8

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐