首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >nfs挂载hdfs,实现云存储

nfs挂载hdfs,实现云存储

作者头像
岑玉海
发布于 2018-02-28 11:17:02
发布于 2018-02-28 11:17:02
3.6K00
代码可运行
举报
文章被收录于专栏:岑玉海岑玉海
运行总次数:0
代码可运行

  本来不知道nfs是啥,因为群里的Harry童鞋有个问题,如何把本地目录挂载到hdfs上,搞什么云存储,说那么巧就是那么巧,HDP支持nfs,然后我就照着文档的说明去做,最后弄出来了。

  1.修改机器上的hdfs-default.xml

   vi /share/lib/hadoop/conf/hdfs-default.xml

  如果没有hdfs-default就找hdfs-site.xml 设置为如下内容,hdp的默认值是0

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
  <name>dfs.access.time.precision</name>
  <value>3600000</value>
</property>

  2.修改hdfs-site.xml,HDP的默认值比较大,4096的,这里就不修改了

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>1024</value>
</property>

  3.设置nf3的临时存储目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
    <name>dfs.nfs3.dump.dir</name>
    <value>/tmp/.hdfs-nfs</value>
</property>

  4.nfs本身也有portmap和nfs3等东西,但是我们不用它们的,我们用hadoop本身自带的,分别执行以下的命令

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hadoop portmap
hadoop nfs3

  或者

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hadoop-daemon.sh start portmap
hadoop-daemon.sh start nfs3

  使用上面的命令启动的,可以用以下的命令停止

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hadoop-daemon.sh stop nfs3
hadoop-daemon.sh stop portmap

  5.安装nfs yum install nfs-utils

  6.然后分别执行以下两句命令检查一下

  rpcinfo -p 127.0.0.1

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
program vers proto port
100005 1 tcp 4242 mountd
100005 2 udp 4242 mountd
100005 2 tcp 4242 mountd
100000 2 tcp 111 portmapper
100000 2 udp 111 portmapper
100005 3 udp 4242 mountd

  showmount -e 127.0.0.1

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Exports list on $nfs_server_ip:
/ (everyone)

  7.把本地的home/cenyuhai/nfs和hdfs做映射,做完映射之后,hdfs上的目录会出现在本地的/home/cenyuhai/nfs目录中

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mount -t nfs -o vers=3,proto=tcp,nolock 127.0.0.1:/ /home/cenyuhai/nfs

  然后我们可以看到nfs下面出现了这些目录,它们就是我在hdfs上面的目录。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2013-09-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
挂载HDFS到本地目录
Hadoop新特性:支持通过NFSv3挂载HDFS文件系统到用户的本地文件目录;也就是说:允许用户像访问本地文件系统一样访问HDFS!这对于普通用户来说大大的简化了HDFS的使用。summer记录下如何将HDFS文件系统挂载到Linux本地中。
summerking
2022/09/16
2.9K0
挂载HDFS到本地目录
通过NFSv3挂载HDFS到本地目录
编辑$Hadoop_HOME/etc/hadoop/hdsf-site.xml文件,增加如下配置:
星哥玩云
2022/06/29
1.1K0
CentOS 下NFS服务搭建与配置
启动NFS SERVER之前,首先要启动RPC服务(CentOS5.8下为portmap服务,CentOS6.6下为rpcbind服务,下同),否则NFS SERVER就无法向RPC服务注册了。另外,如果RPC服务重新启动,原来已经注册好的NFS端口数据就会丢失,因此,此时RPC服务管理的NFS程序也需要重新启动以重新向RPC注册。要特别注意的是,一般修改NFS配置文件后,是不需要重启NFS的,直接在命令行执行 /etc/init.d/nfs reload 或 exportfs -rv 即可使修改的 /etc/exports 生效。
星哥玩云
2022/07/14
2K0
NFS服务搭建与配置
本文讲解在 CentOS 5.x、CentOS 6.x 和 CentOS 7.x 环境下,如何安装与部署 NFS 服务。
踏歌行
2020/10/15
3.7K0
NFS服务搭建与配置
Spark 开发环境搭建
本文介绍了如何使用 Spark 进行大数据处理,包括概述、架构、运行、集群、资源调度、数据存储、编程模型、性能优化、高级特性、应用案例等方面的内容。
syw
2017/05/26
7.2K0
OushuDB 安装与升级之安装 HDFS
由于hadoop依赖于特定版本的snappy,请先卸载snappy确保安装的顺利进行:
用户7454708
2023/05/08
2280
OushuDB 安装与升级之安装 HDFS
HDFS NFS Gateway配置使用说明
  “ 来,了解一下NFS Gateway组件,挺好用的”
create17
2019/01/11
8.7K0
HDFS NFS Gateway配置使用说明
NFS存储服务部署
什么是NFS 中文意思是网络文件系统,主要功能是通过网络(一般是局域网)让不同主机之间可以共享文件或目录 NFS属于本地文件存储服务  缺点1: windows上无法使用 如果想实现windows与Linux系统结合,采用文件数据共享 a. FTP服务 b.samba服务 缺点2: 在高并发场景,以及存储量比较高的场景,对数据安全性要求比较高的场景 需要采用分布式存储:Moosefs(mfs)、FastDFS 无法在服务器中看到真实的文件信息 NFS共享网络文件系统应用的场景 主要用于存储web服
863987322
2018/01/24
2.9K0
NFS存储服务部署
Ubuntu 18.04 固定 NFS 端口
NFS 本身是没有提供信息传输的协议和功能的,它使用的是 RPC (Remote Procedure Call)协议。
全栈程序员站长
2022/09/14
1.2K0
web+nfs+rsync实时备份
1)在NFS服务端nfs01上共享/data目录,允许从NFS客户端web01、web02上分别挂载共享目录。
张琳兮
2018/09/10
2.3K0
web+nfs+rsync实时备份
NFS 配置3
使用下面方法可以看到本机的rpc信息[root@test data]# rpcinfo -p localhost program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper
franket
2022/07/09
9530
nfs服务部署记录
一、概念介绍 NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。 NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。 NFS在文件传送或信息传送过程中
洗尽了浮华
2018/01/23
1.2K0
nfs服务部署记录
Hadoop HDFS-部署和基本操作
我们前面介绍Hadoop的相关软件以及我们要讲解的HDFS,本小节就来讲讲基本部署操作。
运维小路
2025/07/12
730
Hadoop HDFS-部署和基本操作
Linux之NFS网络文件系统
  NFS(Network File System)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络资源共享。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。
用户1173509
2022/05/09
1.7K0
Linux之NFS网络文件系统
Hadoop HDFS-高可用集群部署
前面介绍高可用集群部署的几个组件,本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现(实际为了简单,这里的ZooKeeper使用的单节点)。由于进程比较多,所以我这里给了每台机器8G内存,实际4G应该也可以。
运维小路
2025/07/17
1310
Hadoop HDFS-高可用集群部署
NFS文件服务器
NFS就是Network File System的缩写,最早由Sun公司所发展出来的.最大的功能就是可以通过网络,让不同的主机能共享文件。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。
星哥玩云
2022/09/15
5.9K0
NFS文件服务器
为已存在的Hadoop集群配置HDFS Federation
一、实验目的 1. 现有Hadoop集群只有一个NameNode,现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群,不影响数据访问。 二、实验环境 4台CentOS release 6.4虚拟机,IP地址为 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 192.168.56.104 kettle 其中kettle是新增的一台“干净”的机器,已经配置好免密码ssh,将作为新增的NameNode。 软件版本: hadoop 2.7.2 hbase 1.1.4 hive 2.0.0 spark 1.5.0 zookeeper 3.4.8 kylin 1.5.1 现有配置: master作为hadoop的NameNode、SecondaryNameNode、ResourceManager,hbase的HMaster slave1、slave2作为hadoop的DataNode、NodeManager,hbase的HRegionServer 同时master、slave1、slave2作为三台zookeeper服务器 三、配置步骤 1. 编辑master上的hdfs-site.xml文件,修改后的文件内容如下所示。
用户1148526
2022/05/07
6650
为已存在的Hadoop集群配置HDFS Federation
Linux 环境下 NFS 服务安装及配置使用
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/aixiaoyang168/article/details/83782336
哎_小羊
2019/05/25
18.2K0
Hadoop2.x linux&mac下分布式安装部署
详情请参考 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml
Meet相识
2018/09/12
4390
Hadoop hdfs+Spark配置
<configuration> <property> <name>dfs.nameservices</name> <value>guanjian</value> </property> <property> <name>dfs.ha.namenodes.guanjian</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.guanjian.nn1</name> <value>host1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.guanjian.nn2</name> <value>host2:8020</value> </property> <property> <name>dfs.namenode.http-address.guanjian.nn1</name> <value>host1:50070</value> </property> <property> <name>dfs.namenode.http-address.guanjian.nn2</name> <value>host2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://host1:8485;host2:8485/guanjian</value> </property> <property> <name>dfs.client.failover.proxy.provider.guanjian</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_dsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/opt/jn/data</value> </property> <property>
算法之名
2019/08/20
6030
相关推荐
挂载HDFS到本地目录
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档