我是刚认识hadoop的。我想跟你谈谈我想出的一些方法。2个数据集:A和B。
map阶段:对于每个记录在A访问HDFS和拉记录B进行匹配；
浏览 0提问于2010-10-29得票数 6
回答已采纳
下面是我加入两个数据集的示例程序。该程序有两个映射器和一个减速器，连接从两个不同的映射器得到的值，有两个不同的文件作为输入。
它实际上只期望一个输入路径和一个输出路径，而在我的命令<e
浏览 2提问于2014-10-13得票数 0
我正在浏览星火文件，发现了下面的一行1.请您帮助我理解星火图减少与hadoop地图减少有何不同吗？RDD是如何在火花中工作的？它总是像蜂巢一样将代码转换成mapreduce吗？
浏览 0提问于2018-11-14得票数 1
1回答
我开始了解hadoop。我对它有了一些了解，但是当我读到关于Hive，Pig和其他Apache工具时，我感到很困惑。因此，有人能简单地概述一下hadoop和Apache的工具(Hive、Pig、等)，我想知道它们在处理大数据时是如何和在哪里使用的。
浏览 3提问于2014-05-20得票数 0
回答已采纳
Hadoop Map Reduce和Google Map Reduce有什么区别？
仅仅是Hadoop为map reduce等提供了标准化吗？不同之处还包括什么？
浏览 2提问于2012-07-08得票数 18
2回答
它们是一样的吗？我在一些文档中看到了YARN作为运行分布式应用程序的平台，MapReduce作为分布式应用程序，这是什么意思？这是一个由程序员构建的MapReduce应用程序(例如：wordcount程序)吗？我又一次看到“编写你自己的YARN应用程序”，这是什么意思？如果它不在堆栈溢出标准中，请纠正问题，我试图表达我所有的疑问。
浏览 1提问于2017-10-09得票数 1
1回答
MapReduce工作流基准测试
、、、、
任何机构都可以通过任何基准来测试MapReduce工作流吗？或者一般情况下，BigData工作流基准测试一些工作流系统的性能和准确性，如Oozie？
谢谢
浏览 3提问于2014-04-09得票数 0
3回答
我正在尝试熟悉Hadoop-MapReduce。在学习了这些概念的理论知识后，我想对它们进行实践。
但是，我找不到适用于这项技术的小数据集(最大3 Gb )。我在哪里可以找到数据集，以便进行练习？或者，我如何实践Hadoop-MapReduce？换句话说，有没有提供练习的教程或网站？
浏览 1提问于2012-10-16得票数 4
我对并行计算很陌生，刚刚开始在Amazon上试用MPI和Hadoop+MapReduce。但我不知道什么时候该用一种而另一种。
但是，我也看到了MapReduce on MPI ()的实现，它不提供容错，但在某些基准测试上比在<em
浏览 5提问于2015-01-06得票数 17
回答已采纳
1回答
我正在使用SQL工作台连接到我的redshift集群，我可以正常连接，但不能运行任何命令……
如何查询常见的爬网s3数据集？
浏览 0提问于2015-06-30得票数 0
你好啊斯塔克沃夫的好人，我没有意识到在同一个文件夹中还有另外两个文件。Mapreduce程序继续读取所有3个文件，并给出了输出。输出很好。这是mapreduce的默
浏览 4提问于2016-06-27得票数 1
回答已采纳
当两个或多个Spark作业具有相同的输出目录时，相互删除文件将不可避免。我正在使用spark 2.4.4在append模式下写入一个数据帧，我想在spark的tmp目录中添加一个时间戳，以避免这些删除。示例：使用其他数据调用相同的spark作业，并在hdfs:/outputFil/0/
浏览 20提问于2020-03-19得票数 1
我知道MapReduce(MR)是Hadoop的三个核心框架之一，我熟悉它的mapper-shuffle-reducer进程。我的问题可以分为两个部分：2)其他语言(如：shell、python)的计算部分是如何工作的?它们的计算过程与MR相似吗？
浏览 0提问于2018-05-30得票数 0
3回答
我正在使用Hadoop将现有的时间序列数据库系统转换为MapReduce模型。该数据库系统具有历史处理能力和实时处理能力.到目前为止，我能够将批处理功能转换为Hadoop。不幸的是，当涉及到实时处理时，我发现与MapReduce模型存在一些概念上的不一致。我可以编写我自己的Hadoop的InputFormat接口的实现，它将不断地向映射器提供新的数据</e
浏览 2提问于2014-02-25得票数 4
回答已采纳
1回答
我只是Hadoop框架的初学者。我想在这里了解几个概念，我浏览了这么多链接，但我想得到明确的答案: 1)为什么Map reduce只与键值对一起工作，我还读到，我可以创建一个Map reduce作业，而不用实际使用reduce 2)键，因为映射阶段的输入是文件偏移键。
浏览 5提问于2016-03-02得票数 0
回答已采纳
3回答
在其主页中，有人说它比Hadoop框架更好。但是他们说:火花运行在Hadoop..。我真的不明白为什么可以在Hadoop上运行，而它应该比Hadoop更好。
有人能解释一下这两者之间的等级吗？
浏览 6提问于2017-10-22得票数 1
回答已采纳
当我在Hadoop1.2.1中使用时，我想要从父类散列器构建一个新的类MyPatitioner，并且它( when )是可以的。job.setPartitionerClass(MyPartitioner.class);
提示: Job类型中的方法setPartitionerClass(类)不适用于参数(类)。
浏览 0提问于2013-09-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
