Inputformat到hdfs上读取数据 将数据传给Split
Split将数据进行逻辑切分 将数据传给RR
RR:将传入的数据转换成一行一行的数据,输入行首字母偏移量和对应数据 将数据传给Map
map根据业务需求实现自定义代码 将数据传给shuffle的partition
partition:按照一定的分区规则,将key value的list进行分区 将数据传给shuffle的sort
Sort:对分区内的数据进行排序 将数据传给Shuffle的combiner
combiner:对数据进行局部聚合。 将数据传给Shuffle的Group
Group:将相同key的key提取出来作为唯一的key, 将相同key对应的value获取出来作为value的list 将数据传给Reduce
Reduce:根据业务需求进行最终的合并汇总。 将数据传给outputFormat
outputFormat:将数据写入HDFS