将普通java程序转换为映射减缩
将普通java程序转换为映射减缩
提问于 2011-10-06 06:17:02
我想要编写一个Java包装器，它将把“兼容的程序”转换为由Hadoop框架执行的映射约简形式。我知道我的问题是相当ambiguous.But，这是我的意图。
- 接受一个输入java程序。用户将指定程序的哪一部分将由map还原执行。
- 这个java程序将由我的程序输入，它将把等价的map还原程序提供给hadoop。
我只停留在几点上。
- 每个类的地图减少程序将是不同的。我该怎么概括它呢？
- 从我该从哪里开始。
- 我应该如何处理这个问题呢？
欢迎任何建议。这将帮助我决定进一步的方向。
回答 2
Stack Overflow用户
发布于 2011-10-06 09:19:42
它一般是无法实现的，并不是所有的程序都支持MapReduce范式。MapReduce是一个框架，有些任务可以用它来完成，有些则不能完成。最好的问题，你可以问你自己，以确定是路标，可以有利于地图减少使用。
- 是否有可以并行计算的部件。
- 它们必须由某个键聚合吗？
- 在每个分块之间需要共享多少数据。
- 可以用步骤1到3的序列/循环来解决问题。
Stack Overflow用户
发布于 2011-10-06 10:12:25
看看Hadoop流。您可以用任何语言编写map/减函数，这些语言可以读写STDOUT/STDIN，然后将它们连接到Apache。这里是关于如何使用兼容的Python /reduce函数创建MapReduce作业的一个很好的教程。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/7670840
复制相关文章
相似问题
腾讯云开发者
