大数据随记 —— Hadoop 概述

一、Hadoop 概述

Hadoop 是 Apache 基金会所开发的分布式系统基础架构，可以让用户在不了解分布式底层细节的情况下，开发分布式程序。

Hadoop 的思想来源于三篇关于 GFS、MapReduce、 BigTable 的论文，后来就演变成了 Hadoop 中的 HDFS、MapReduce、HBase，分别对应着 大数据存储、大数据分析计算、列式非关系型数据库。

二、 Hadoop 组件介绍

Hadoop 中主要包含三大组件：HDFS、MapReduce、YARN。

• HDFS：一个分布式存储框架，适合海量数据存储。
• MapReduce：一个分布式计算框架，适合海量数据计算。
• YARN：一个资源调度平台，负责给计算框架分配计算资源。

三、Hadoop 版本介绍

Hadoop 目前主要有三个发行版本：Apache Hadoop、Cloudera Hadoop、HortonWorks。

① Apache Hadoop

Apache Hadoop 也就是 Apache 开发出的版本，官方的版本。

• 官方网址：https://hadoop.apache.org/

② Cloudera Hadoop（CDH）

Cloudera Hadoop 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 商用解决方案，是使用下载最多的版本。

• 官方网址：https://www.cloudera.com/

③ HortonWorks Hadoop（HDP）

HortonWorks Hadoop 基于 Apache Hadoop 的版本进行了集成，结合 Ambari 来实现平台化的快速安装部署，是一款开源的安装和管理系统。

不过 HortonWorks 与 Cloudera 两家公司已经完成合并，后续都采用 Cloudera 作为新公司名称。