hadoop-3.2.0------>入门十七hadoop之HDFS

产生背景及定义

1、产生背景：

随着数据量越来越大，在一个操作系统存不下所有的数据，那么分配到更多的操作系统管理磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

2、定义：

HDFS是一个文件系统，用于存储文件，通过目录树来定位文件；其次，他是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的功能。

HDFS适合一次写入，多次读出的场景，不支持文件修改。适合做数据分析不适合做网盘应用。

优点

1、高容错性

1、数据自动保存多个副本，他通过增加副本形式，提高高容错性

2、某一个副本丢失之后，他可以自动恢复

2、适合处理大数据

1、数据规模：能够处理数据规模达到GB、TB甚至PB级别的数据

2、文件规模：能够处理百万规模以上的文件数量

3、可以构建在廉价的服务器上，通过多副本机制，提高可靠性。

缺点

1、不适合低延迟数据访问，比如毫秒级存储数据

2、无法高效的对大量小文件进行存储

1、存储大量小文件的话，他会占用NameNode大量的内存存储文件目录和块信息。这样是不可取的，因为NameNode内存是有限的

2、小文件存储的寻址时间会超过读取时间，违反了HDFS设计目标

3、不支持并发写入、文件随机修改

1、一个文件只能由一个线程写入，不允许多个线程同时操作

2、仅支持数据追加，不支持文件随机修改

组织架构

1、NameNode：就是master，他是一个主管、管理者

1、管理HDFS的名称空间

2、配置副本策略

3、管理数据块映射信息

4、处理客户端读写请求

2、DataNode：就是slave。NameNode下达指令，DataNode执行实际操作

1、存储实际的数据块

2、执行数据块的读写操作

3、Client：就是客户端

1、文件切分。文件上传HDFS时候，Client将文件切分成一个一个的block，然后进行上传。

2、与NameNode交互，获取文件的位置信息

3、与DataNode交互，读取或者写入一些数据

4、Client提供一些命令来管理HDFS。比如NameNode格式化

5、Client可以通过一些命令来访问HDFS，比如对HDFS的一些增删改查操作

4、Secondary NameNode：并非NameNode的热备，当NameNode挂掉之后，他不会立刻替换掉NameNode提供服务

1、辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode

2、紧急情况下可辅助恢复NameNode

HDFS文件块大小

HDFS中的文件物理上是分割存储（block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小为128MB，在hadoop1.X的版本中默认大小64MB。

1、如果寻址时间为10ms，即查找到目标块的时间为10ms

2、寻址时间为传输时间的1%时，为最佳状态，因此传输时间=10ms/1%=1000ms=1s

3、目前磁盘的传输速率普遍为100MB/s

HDFS块大小的设置主要取决于磁盘传输速率