1、配置
配置文件(一): vi etc/hadoop/core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadpp.tmp.dir</name>
<value>hdfs:/usr/local/module/hadoop-3.2.2/data/tmp</value>
</property>
配置文件(二):hadoop-env.sh
Linux系统获取JDK的安装路径并修改
echo $JAVA_HOME
export JAVA_HOME=实际路径
配置文件(三):hdfs-site.xml
HDFS副本数修改为1,默认3
<name>dfs.replication</name>
<value>1</value>
2、启动集群
(1)格式化NameNode (第一次启动时格式化,以后不用一直格式化)
(2)启动NameNode
(3) 启动DataNode
3、查看集群 jps (意思是java进程)
4、访问后台 ip:50070 重点关注下 Utilities 模块
创建文件夹 bin/hdfs dfs -mkdir -p 文件夹路径/文件名 移动文件 bin/hdfs dfs -put 当前文件路径 目标文件夹路径 5、测试workcount案例
注意:如果输出数据源文件如果存在,会抛错的!
6、查看日志 日志目录 handoop的安装路径下/logs
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。