前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop伪分布式如何配置Namenode集群?

Hadoop伪分布式如何配置Namenode集群?

原创
作者头像
Kami米雅
修改2021-11-09 09:57:56
5470
修改2021-11-09 09:57:56
举报
文章被收录于专栏:上云服务专题

1、配置 配置文件(一): vi etc/hadoop/core-site.xml

代码语言:javascript
复制
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
代码语言:javascript
复制
<property>
        <name>hadpp.tmp.dir</name>
        <value>hdfs:/usr/local/module/hadoop-3.2.2/data/tmp</value>
    </property>

配置文件(二):hadoop-env.sh Linux系统获取JDK的安装路径并修改 echo $JAVA_HOME export JAVA_HOME=实际路径

配置文件(三):hdfs-site.xml HDFS副本数修改为1,默认3

代码语言:javascript
复制
    <name>dfs.replication</name>
    <value>1</value>

2、启动集群 (1)格式化NameNode (第一次启动时格式化,以后不用一直格式化)

(2)启动NameNode

(3) 启动DataNode

3、查看集群 jps (意思是java进程)

4、访问后台 ip:50070 重点关注下 Utilities 模块

创建文件夹 bin/hdfs dfs -mkdir -p 文件夹路径/文件名 移动文件 bin/hdfs dfs -put 当前文件路径 目标文件夹路径 5、测试workcount案例

注意:如果输出数据源文件如果存在,会抛错的!

6、查看日志 日志目录 handoop的安装路径下/logs

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
作者已关闭评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据处理套件 TBDS
腾讯大数据处理套件(Tencent Big Data Suite,TBDS)依托腾讯多年海量数据处理经验,基于云原生技术和泛 Hadoop 生态开源技术提供的可靠、安全、易用的大数据处理平台。 TBDS可在公有云、私有云、非云化环境,根据不同数据处理需求组合合适的存算分析组件,包括 Hive、Spark、HBase、Flink、Presto、Iceberg、Elasticsearch、StarRocks 等,以快速构建企业级数据湖仓。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档