云计算分布式框架 Hadoop

107课时
2.2K学过
8分

课程评价 (0)

请对课程作出评价:
0/300

学员评价

暂无精选评价
10分钟

Hadoop的核心技术是Google核心技术的开源实现

Hadoop的核心技术包括HDFS、MapReduce和Hbase,它们分别是Google核心技术GFS、MapReduce和Bigtable的开源实现。Hadoop的关键技术与Google的关键技术如下表所示。

Hadoop的关键技术

Google的关键技术

Hadoop HDFS

Google GFS

Hadoop MapReduce

Google MapReduce

Hadoop Hbase

Google Bigtable

Hadoop ZooKeeper

Google Chubby

Hadoop Pig

Google Sawzall

Hadoop的关键技术与Google的关键技术比较如下所述。

(1)Hadoop HDFS(Hadoop Distributed File System):分布式文件系统,是Google GFS的开源实现。

(2)Hadoop MapReduce:大型数据的分布式处理模型,是Google GFS的开源实现。

(3)Hadoop Hbase:支持结构化数据存储的分布式数据库,是Google Bigtable的开源实现。

(4)Hadoop ZooKeeper:用于解决分布式系统中的一致性问题,是Google的Chubby的开源实现。

(5)Hadoop Pig:在MapReduce上构建的一种高级数据流语言,是Sawzall的开源实现。

(6)Sawzall:一种建立在MapReduce基础上的领域语言,其程序控制结构(如if、while等)与C语言无区别,但它的领域语言语义使它完成相同功能时代码比MapReduce的C++代码简洁很多。

在这些子项目中,Pig最初是由Yahoo!的网络部门开发的,后来捐献给Apache基金会。从实现的功能来看,Hadoop几乎就是Google的“翻版”,几乎每个子项目都是Google某项技术的开源实现。