开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >史上最快! 10小时大数据入门实战(五)-分布式计算框架MapReduce1 MapReduce概述2 MapReduce编程模型之通过wordcount词频统计分析案例入门MapReduce执行流程

史上最快! 10小时大数据入门实战(五)-分布式计算框架MapReduce1 MapReduce概述2 MapReduce编程模型之通过wordcount词频统计分析案例入门MapReduce执行流程

作者头像

JavaEdge

发布于 2018-07-04 16:39:11

9460

发布于 2018-07-04 16:39:11

举报

文章被收录于专栏：JavaEdge

目录

1 MapReduce概述

2 MapReduce编程模型之通过wordcount词频统计分析案例入门

MapReduce执行流程

InputFormat

OutputFormat OutputFormt接口决定了在哪里以及怎样持久化作业结果。Hadoop为不同类型的格式提供了一系列的类和接口，实现自定义操作只要继承其中的某个类或接口即可。你可能已经熟悉了默认的OutputFormat，也就是TextOutputFormat，它是一种以行分隔，包含制表符界定的键值对的文本文件格式。尽管如此，对多数类型的数据而言，如再常见不过的数字，文本序列化会浪费一些空间，由此带来的结果是运行时间更长且资源消耗更多。为了避免文本文件的弊端，Hadoop提供了SequenceFileOutputformat，它将对象表示成二进制形式而不再是文本文件，并将结果进行压缩。

3 MapReduce核心概念

3.1 Split

3.2 InputFormat

4 MapReduce 1.x 架构

5 MapReduce 2.x 架构

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018.06.24 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

1 MapReduce概述
2 MapReduce编程模型之通过wordcount词频统计分析案例入门
MapReduce执行流程
3 MapReduce核心概念
- 3.1 Split
- 3.2 InputFormat
4 MapReduce 1.x 架构
5 MapReduce 2.x 架构

相关产品与服务

大数据

全栈大数据产品，面向海量数据场景，帮助您 “智理无数，心中有数”！

11.11 上云拼团GO