前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MAC安装Hadoop2.8

MAC安装Hadoop2.8

作者头像
week
发布于 2018-08-24 06:49:06
发布于 2018-08-24 06:49:06
3.4K00
代码可运行
举报
文章被收录于专栏:用户画像用户画像
运行总次数:0
代码可运行

参考官方网站:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

一、准备条件

1、JDK

Hadoop 需要 Java 版本在1.6或以上, 运行java -version 在你的终端中,它会显示你电脑上安装的Java版本

2、SSH

生成SSH keys

首先确保远程登录(Remote Login)是打开的,在系统配置(System Preferences)->分享(Sharing)中可以设置,如果在终端中输入ssh localhost有返回,则你已经配置好了SSH keys,如果没有,可新建:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ssh-keygen -t rsa -P ""

为了避免每次询问你的密码,可以授权你的公钥到本地:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

现在应该可以使用SSH在你的电脑上了,执行:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ssh localhost

二、安装

1、安装homebrew

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)

2、使用brew 进行安装hadoop

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
brew install hadoop

3、配置环境变量 sudo vim /etc/profile

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH

4、配置hadoop

①打开目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop

②添加下面的行到 hadoop-env.sh :

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

③添加下面的行到core-site.xml

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<configuration>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/Cellar/hadoop/2.8.2/data</value>
   <description>A base for other temporary directories.</description>
 </property> 
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
 </property>
</configuration>

④添加下面的行到hdfs-site.xml

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

⑤添加下面的行到mapred-site.xml

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

三、初始化

我们必须格式化新安装的HDFS在我们启动运行后台程序前,格式并创新空的文件系统通过创建存储目录和初始化元数据。进入hadoop安装目录,执行

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hadoop namenode -format

四、启动hdfs和yarn

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
./start-dfs.sh
./start-yarn.sh

五、验证

1、当启动完hdfs以及yarn可以打开浏览器,输入以下地址看是否能进入对应的页面

http://localhost:50070

 http://localhost:8088

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年12月06日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
学习springMVC之前,控制层写法,结合spring容器
学习springMVC之前,控制层写法,结合spring容器 package comcontroller; import com.pojo.Account; import com.service.CheckAccountService; import org.springframework.context.ApplicationContext; import org.springframework.context.support.ClassPathXmlApplicationContext; import
一写代码就开心
2021/07/08
2470
Spring学习笔记(十一)——SSM三大框架的整合
点击下载 链接:https://pan.baidu.com/s/1UomJQcmua0a367-oHj1pgg 提取码:9miz
不愿意做鱼的小鲸鱼
2022/09/24
8820
Spring学习笔记(十一)——SSM三大框架的整合
SSM框架——详细整合教程(Spring+SpringMVC+MyBatis)
最近在学习Spring+SpringMVC+MyBatis的整合。以下是参考网上的资料自己实践操作的详细步骤。
Java架构师必看
2021/12/19
2.4K0
SSM框架——详细整合教程(Spring+SpringMVC+MyBatis)
spring mvc随笔
用户1141560
2017/12/26
1.3K0
javaweb-springMVC-56
资料地址:https://github.com/Jonekaka/javaweb-springMVC-56
全栈程序员站长
2021/05/19
5170
Spring项目综合整合实践
springmvc提供的ResponseEntity类型,使用它可以很方便地定义返回的HttpHeaders和HttpStatus
张哥编程
2024/12/13
940
Spring项目综合整合实践
Spring JdbcTemplate 使用及持久层继承JdbcDaoSupport XML配置
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
多凡
2019/11/01
4080
SpringMVC+Spring+Mybatis实现登录注册Demo「建议收藏」
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/132534.html原文链接:https://javaforall.cn
全栈程序员站长
2022/08/13
9070
SpringMVC+Spring+Mybatis实现登录注册Demo「建议收藏」
常用的两种spring、mybatis 配置方式
转载自http://blog.csdn.net/qh_java/article/details/51601139
allsmallpig
2021/02/25
2380
Spring框架(三) JDBCTemplate,声明式事务,自动装载(注解)
 JDBCTemplate 按照标准正常项目的结构 结构图: model层 dao层 实现  dao:(DateBase Access Object) 数据访问对象,dao层只用来访问数据库和模型层
二十三年蝉
2018/02/28
2.6K0
Spring框架(三) JDBCTemplate,声明式事务,自动装载(注解)
Spring--框架学习
为了后期方便各州测试,在/src下新建test测试目录,在其中新建java文件夹,里面写测试代码
花猪
2022/02/22
1.3K0
Spring--框架学习
Spring学习笔记
可以看出,UserDaoImplForMySQL中主要是连接MySQL数据库进行操作。如果更换到Oracle数据库上,则需要再提供一个UserDaoImplForOracle,如下:
捞月亮的小北
2024/04/15
2270
Spring学习笔记
Spring入门这一篇就够了
前言 前面已经学习了Struts2和Hibernate框架了。接下来学习的是Spring框架…本博文主要是引入Spring框架… Spring介绍 Spring诞生: 创建Spring的目的就是用来替代更加重量级的的企业级Java技术 简化Java的开发 基于POJO轻量级和最小侵入式开发 通过依赖注入和面向接口实现松耦合 基于切面和惯例进行声明式编程 通过切面和模板**减少样板式代码 ** 侵入式概念 Spring是一种非侵入式的框架… 侵入式 对于EJB、Struts2等一些传统的框架,通常是要实现特定
Java3y
2018/03/15
4K0
Spring入门这一篇就够了
spring @Repository 和@Service,@Controller使用方法
Web 应用程序采用了经典的三层分层结构的话,最好在持久层、业务层和控制层分别采用 @Repository、@Service 和 @Controller 对分层中的类进行注释;
全栈程序员站长
2022/06/30
2920
快速学习-Spring 中的 JdbcTemplate
除了默认构造函数之外,都需要提供一个数据源。既然有set方法,依据我们之前学过的依赖注入,我们可以在配置文件中配置这些对象。
cwl_java
2020/04/03
8960
快速学习-Spring 中的 JdbcTemplate
spring+springMVC 整合 MongoDB 实现注册登录
发现一入手 MongoDB,便无法脱离,简要说一下,MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
Krry
2018/09/10
3K0
spring+springMVC 整合 MongoDB 实现注册登录
SSM整合案例(超详细)「建议收藏」
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/130582.html原文链接:https://javaforall.cn
全栈程序员站长
2022/08/11
8090
SSM整合案例(超详细)「建议收藏」
2023新版Spring6全新讲解-核心内容之事务管理
  JdbcTemplate是Spring框架对JDBC操作进行的封装,可以简化方便对数据库的操作。
用户4919348
2023/07/11
2480
2023新版Spring6全新讲解-核心内容之事务管理
使用Spring JDBCTemplate简化JDBC的操作
http://www.cnblogs.com/lichenwei/p/3902294.html
bear_fish
2018/09/19
1.1K0
使用Spring JDBCTemplate简化JDBC的操作
jdbcTemplate的基本使用
它是 spring 框架中提供的一个对象,是对原始 Jdbc API 对象的简单封装。spring 框架为我们提供了很多 的操作模板类。 jar包 spring-jdbc-5.0.2.RELEASE.jar 中,我们在导包的时候,除了要导入这个 jar 包 外,还需要导入一个 spring-tx-5.0.2.RELEASE.jar(它是和事务相关的)。
暴躁的程序猿
2022/03/24
2760
推荐阅读
相关推荐
学习springMVC之前,控制层写法,结合spring容器
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档