首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

你也能看懂Hadoop——HDFS

CSOT工程师

那些数据怎么这么慢,服务器挂了么?老板还等着报告呢!

晓智

如果数据量大,一般的关系数据库是这样的,当读取的记录数很多时,就会出现这个问题

CSOT工程师

你们不是要搞大数据吗?如果数据量增加,那效率不是更慢吗?怎么搞啊

晓智

不用担心,大数据时代我们会使用新的数据库技术,叫HDFS

CSOT工程师

说人话!

晓智

HDFS的全称是:Hadoop Distribute Files System.

谈到大数据,我们往往想到的是当今主流的大数据技术框架:Hadoop。Hadoop 是一个由Apache基金会所开发的一个开源分布式计算平台。Hadoop能够让用户轻松架构和使用,并且能够让用户在其平台上开发运行处理海量数据的应用程序。它的两大核心技术是:分布式文件系统HDFS与分布式编程模型MapReduce。现在让我们来了解什么是分布式文件系统HDFS。

什么是HDFS?

HDFS的全称是:Hadoop Distribute Files System.在整个Hadoop技术体系中,HDFS提供了数据分布式存储的底层技术支持。

HDFS的存储原理

数据块

HDFS首先将海量数据文件以64M为基准,将文件分割成大量数据块,这些数据块是HDFS默认的基本存储单位,这么做的好处在于能够实现将一个100TB的大型数据文件进行分割并存放在许多500G的小硬盘之中的场景。

数据节点DataNode

若干个数据块被存储在数据节点(DataNode)之中,每个数据块在HDFS系统中均有多个备份文件,分别存储在不同的DataNode之中,提高了整个系统的安全性和可靠性。

中心服务器NameNode

HDFS集群中所有的DataNode均由一个中心服务器NameNode统一管理,NameNode负责管理整个文件系统的命名空间和控制着用户对文件的访问。它存储的不是数据,而是文件分了多少块,每个块都有哪些副本,分别存放在哪里DataNode上诸如此类的信息。

小助手SecondaryNameNode

SecondaryNameNode是NameNode的小助手,主要实现备份,日志管理等工作。

总而言之:DataNode是一个个存放数据的小仓库,而NameNode管理着这些小仓库。HDFS架构图如下:

HDFS的读取原理

当用户访问HDFS集群来读取数据时:

1)通过HDFS Client访问集群中的分布文件系统(DistributedFileSystem)。

2)DistributedFileSystem会在NameNode中查询用户所需数据的具体位置。这些数据已经被HDFS分割成了数据块并备份多份分别存放在多个DataNode中。

3)DistributedFileSystem会优先把距离客户端近的数据块地址告知HDFS的 FSDataInputStream。让其建立与相应DataNode的链接,目标数据便从DataNode源源不断的流向HDFS Client。

HDFS优缺点

优点:

1)高容错性,数据保存多个副本,副本丢失自动恢复。

2)适合批处理,适合大数据处理。

3)可应用于廉价的商用机器集群上。

4)流式数据访问,读取整个数据集比读取一条数据更高效。

缺点:

1)无法高效存储大量小文件。

2)不适合低延迟数据访问。

CSOT工程师

那这样看来它也不能大小数据都通吃嘛

晓智

是啊,所以我们的策略是'适合的才是最好的',放心,我们会从用户的角度来搭配最佳的数据存取方案,让我们飞得更远

文章转载自:华星智能制造规划处

Hadoop大数据应用

你也能懂大数据

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180104B0G1ME00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券