HDFS写入数据流程可分为以下核心步骤，综合多个技术文档整理而成：

    由于公司近期需要将机械盘替换成SSD盘,SSD盘又不足,需要下线部分数据节点.刚开始是直接粗暴的关掉了4个节点上的datanode服务,出现很多丢失的数...

        当手动删除HDFS 分区数据时,但是并没有清理 Hive 中的分区元数据,删除操作无法自动更新hive分区表元数据。也就是从hdfs中删除大量分...

对于参数 10，代表的是集群中各个节点的磁盘空间利用率相差不超过 10%，可根据实际情况进行调整。 停止数据均衡命令：

HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说...

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置； （2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导...

1）NameNode（nn）：就是Master，它 是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Blo...

1）节点间数据均衡 （1）开启数据均衡命令： start-balancer.sh -threshold 5 对于参数5，代表的是集群中各个节点的磁盘空间利...

HDFS的读数据流程 (1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件...

HDFS的写数据流程 (1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存...

通过 web 访问 hdfs://hadoop102:50070/user/hadoop/input/.snapshot/s……// 快照和源文 件使用相同数...

1）客户端通过 Distributed FileSystem 向 NameNode 请求下载文件，NameNode 通过查询元数据，找到文件块所在的 Dat...

在 HDFS 写数据的过程中，NameNode 会选择距离待上传数据最近距离的 DataNode 接收数据。那么这个最近距离怎么计算呢？ 节点距离：两个节点到...

1）生产环境服务器存在多磁盘情况 2）在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的...

HDFS的block丢失过多进入安全模式（Safe mode） 集群处于安全模式的原因有: 1.磁盘空间不足； 2.内存不足； 3.系统掉电； 都会导...

linux系统没有回收站概念，rm -rf很容易造成极大的损失。而在Hadoop或者说HDFS里面，有trash(回收站)的概念，可以使得数据被误删以后，还可以...

在根目录上创建一个test文件夹 查看：hadoop fs -l / 就可以看到下面文件：一个上传的test.txt文件和一个test的文件夹

RPC(Remote Procedure Call)机制与两个NameNode同时成为Active(脑裂)的问题密切相关，是导致这一故障的关键因素之一。