MapReduce编程思想是由Google工程师Jeffrey Dean于2004年提出的，与此同时，Google也发表了GFS、BigTable等底层系统以应用MapReduce模型。2007年，Google公司发布了Google’s MapReduce Programming Model-Revisted论文，该论文进一步详细介绍了Google MapReduce模型及Sazwall并行处理海量数据分析语言。

自从Google工程师Jeffrey Dean提出MapReduce编程思想后，MapReduce便在Google的各种Web应用中释放着魔力。MapReduce自提出后首先应用于大型集群。Google公司以MapReduce为基石，逐步发展成为全球互联网企业的领军企业。然而，也许出于技术保密的考虑，Google公司并没有透露其MapReduce的实现细节。

在Doug Cutting加入Yahoo！公司一个月后，Yahoo！搜索就决定采用 Hadoop框架。Yahoo！在两个月内就搭建成一个Hadoop集群，并以更快的速度帮助它的客户使用这个新的框架。Hadoop的另一个显著优点就是Hadoop是开源的，这一优势可以促进Hadoop得到更深层次的研究。2006年Yahoo！构建了一个200个节点的Hadoop集群，并暂时搁置了Yahoo！的WebMap计划，转向研究Hadoop，使得用户能进一步加深对Hadoop的应用。

如今Hadoop不仅致力于应对网络流量的科学研究，还涉及搜索引擎、广告优化、机器学习等领域，并成为IT产业里优秀的大数据平台。