云计算分布式框架 Hadoop

107课时
2.2K学过
8分

课程评价 (0)

请对课程作出评价:
0/300

学员评价

暂无精选评价
5分钟

MapReduce编程模式的核心思想

MapReduc编程模式的主要思想是将要执行的问题(如程序)拆解成Map(映射)和Reduce(化简)的方式。它的两项核心操作是Map和Reduce。在数据被分割后,通过Map 函数的程序将数据映射成不同的块,分配给计算机机群处理,达到分布式运算的效果,再通过Reduce 函数的程序将结果汇总,从而输出开发者需要的结果。

简单来说,Map函数把一组数据一对一地映射到另一组数据中。映射的规则由一个函数来指定,如一组数据[1,2,3,4]乘以3的映射就变成了[3,6,9,12]。Reduce函数的作用就是对这组数据进行归约,归约的规则也由一个函数指定,如规则为对[3,6,9,12]进行求和得到结果31。总体来说,Map函数主要把任务分解成多个小任务,Reduce函数则负责把分解后的各个任务的处理结果进行汇总。对于其他复杂的问题,如工作调度、分布式存储、容错处理、负载均衡、网络通信等,则由MapReduce框架负责,而程序员不必关心这些问题。