云计算分布式框架 Hadoop

107课时
2.2K学过
8分

课程评价 (0)

请对课程作出评价:
0/300

学员评价

暂无精选评价
5分钟

MapReduce的体系架构

MapReduce是Hadoop的核心组件之一。Hadoop MapReduce是一个使用简便的软件框架,基于它写出的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理TB级别的数据集。

采用MapReduce架构实现的程序能够在由大量的普通配置的计算机构成的集群中实现并行化操作。MapReduce系统在运行过程中只关心数据如何分割、调度,以及集群中的计算机如何对错误进行处理、管理者计算机之间的通信。采用MapReduce架构可以使那些没有进行过并行计算和分布式计算的开发人员充分利用分布式系统的丰富资源进行并行、分布式的开发。

MapReduce框架由一个单独的master JobTracker 和集群节点上的slave TaskTracker共同组成。master负责调度一个作业中的所有任务,把这些任务分布在不同的slave上。master监控slave节点上这些任务的执行情况,并重新执行失败的任务,而slave仅负责执行由master指派的任务。