Hadoop的核心技术是Google核心技术的开源实现
Hadoop的核心技术包括HDFS、MapReduce和Hbase,它们分别是Google核心技术GFS、MapReduce和Bigtable的开源实现。Hadoop的关键技术与Google的关键技术如下表所示。
Hadoop的关键技术 | Google的关键技术 |
---|---|
Hadoop HDFS | Google GFS |
Hadoop MapReduce | Google MapReduce |
Hadoop Hbase | Google Bigtable |
Hadoop ZooKeeper | Google Chubby |
Hadoop Pig | Google Sawzall |
Hadoop的关键技术与Google的关键技术比较如下所述。
(1)Hadoop HDFS(Hadoop Distributed File System):分布式文件系统,是Google GFS的开源实现。
(2)Hadoop MapReduce:大型数据的分布式处理模型,是Google GFS的开源实现。
(3)Hadoop Hbase:支持结构化数据存储的分布式数据库,是Google Bigtable的开源实现。
(4)Hadoop ZooKeeper:用于解决分布式系统中的一致性问题,是Google的Chubby的开源实现。
(5)Hadoop Pig:在MapReduce上构建的一种高级数据流语言,是Sawzall的开源实现。
(6)Sawzall:一种建立在MapReduce基础上的领域语言,其程序控制结构(如if、while等)与C语言无区别,但它的领域语言语义使它完成相同功能时代码比MapReduce的C++代码简洁很多。
在这些子项目中,Pig最初是由Yahoo!的网络部门开发的,后来捐献给Apache基金会。从实现的功能来看,Hadoop几乎就是Google的“翻版”,几乎每个子项目都是Google某项技术的开源实现。
学员评价