首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >hadoop-3.2.0------>入门五 伪分布式 WordCount实例

hadoop-3.2.0------>入门五 伪分布式 WordCount实例

作者头像
用户5899361
发布2020-12-07 14:42:39
发布2020-12-07 14:42:39
8330
举报
文章被收录于专栏:学习java的小白学习java的小白

1、点击页面,查看文件夹

2、在根目录下创建文件夹(命令:bin/hdfs dfs -mkdir -p /user/root/input),创建完成之后我们可以看到页面上显示出我们所有的文件夹。

bin/hdfs dfs:固定写法

-mkdir:创建文件夹

-p:多级目录

/user/root/input:目录地址

3、查看我们所创建的文件夹,在hdfs中,(命令:bin/hdfs dfs -ls /)

4、将文件上传至hdfs我们所创建的文件夹中

命令:bin/hdfs dfs -put wcinput/wc.input /user/root/input bin/hdfs dfs:固定写法

-put:上传

wcinput/wc.input:文件路径及文件名

/user/root/input:上传至hdfs服务器中的文件夹路径

5、在页面中查看上传的文件

6、输入命令 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /user/root/input /user/root/output

bin/hadoop jar:执行一个jar文件

share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar :文件所在的目录 examples因为加s了肯定是多个案例

wordcount :因为examples是多个案例我们这里执行的是wordcount 案例

/user/root/input:输入文件夹

/user/root/output:输出文件夹,名字可以随意取,一般会以执行的文件名字+output命名

注意:这里的output文件夹不能存在,如果存在将会报错,在执行命令时会自动创建wcoutput 文件夹

7、去页面上查看有没有执行成功,从下图可以看到我们的output文件夹已经出现。

8、点进去可以看到有两个文件分别是_SUCCESS和part-r-00000。

9、可以点击part-r-00000文件名字进行下载,下载到本地,查看里面的内容。

10、同样我们也可以在linux系统中进行查看,命令(bin/hdfs dfs -cat /user/root/output/p*)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、点击页面,查看文件夹
  • 2、在根目录下创建文件夹(命令:bin/hdfs dfs -mkdir -p /user/root/input),创建完成之后我们可以看到页面上显示出我们所有的文件夹。
  • 3、查看我们所创建的文件夹,在hdfs中,(命令:bin/hdfs dfs -ls /)
  • 4、将文件上传至hdfs我们所创建的文件夹中
  • 5、在页面中查看上传的文件
  • 6、输入命令 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /user/root/input /user/root/output
  • 7、去页面上查看有没有执行成功,从下图可以看到我们的output文件夹已经出现。
  • 8、点进去可以看到有两个文件分别是_SUCCESS和part-r-00000。
  • 9、可以点击part-r-00000文件名字进行下载,下载到本地,查看里面的内容。
  • 10、同样我们也可以在linux系统中进行查看,命令(bin/hdfs dfs -cat /user/root/output/p*)
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档