valuekey1, CLASS-A,YES,5key3, CLASS-C,NO,1 key value-----------------------ke
浏览 37提问于2017-08-28得票数 1
回答已采纳
我正在为CCA175做准备，我使用的是spark最老的版本，Spark 1.3.0。映射后，我可以看到它被映射为Float，但是当我运行下面的命令时，它显示了一个错误：<console>:34: error: value _2 is not a membe
浏览 0提问于2016-09-03得票数 1
2回答
我是Apache spark的新手，所以这个问题可能不适合问，但我不明白combinebykey和aggregatebykey之间的区别以及何时使用哪个操作。
浏览 0提问于2017-04-19得票数 7
我在mysql中有5行记录，如
JavaPairRDD<Tuple3<String,String,String>, Map>(<sku,seller,stock>似乎row2没有进入reduceByKey函数体。我在想为什么？
浏览 4提问于2018-01-12得票数 0
回答已采纳
相反，建议使用reduceByKey()、aggregateByKey()、combineByKey()或foldByKey()。这将导致在混洗之前在工作进程中进行一些聚合，从而减少工作进程之间的数据混洗。
浏览 0提问于2015-06-27得票数 11
回答已采纳
我在RDD中有类元素(Int，(Int，Int，Int)。其目的是将具有相同键的元素限制在某个阈值t内。，可以通过组合器利用映射端的聚合，因为在单个分区中可能存在不止相同的键，导致如下结果：GroupByKey时间: 4,1分钟提前感谢！这是因为事实上</em
浏览 0提问于2017-10-19得票数 0
在GraphX aggregateMessages API中 def aggregateMessages[Msg: ClassTag]( : VertexRDD[Msg]但是我想修改merge stage的返回类型，这意味着我想要像combineByKey这样的东西而不是reduceByKey，如何才能基于GraphX的优势做到这一点呢？或者换句话说，我如
浏览 2提问于2018-05-16得票数 2
有人能解释reducebykey、groupbykey、aggregatebykey和combinebykey之间的区别吗？我看过有关这方面的文件，但不明白具体的不同之处。
用例子来解释会很好。
浏览 7提问于2017-04-12得票数 96
回答已采纳
在主时间窗口中，我将其划分为较小间隔的桶。因此，3周分为24小时时间桶，有一个类似于(start_epoch，stop_epoch)，(start_epoch，stop_epoch)，.在每个时间桶中，我将事件映射/减少到一个较小的集合中。处理这件事最好的方法是什么？每次映射/减少操作都会产生一个新的RDD，因此实际上留给我的是大量的RDD。只从驱动程序循环该数组，然后在每个RDD上执行其他转换/操作以获得每个时间窗口的结果是否“安全”
浏览 1提问于2016-03-11得票数 0
回答已采纳
当我需要在RDDs中分组数据时，我总是使用reduceByKey，因为它在混洗数据之前执行map端reduce，这通常意味着较少的数据被混洗，因此我可以获得更好的性能。即使Map端的reduce函数收集了所有的值，实际上并没有减少数据量，我仍然使用reduceByKey，因为我假设reduceByKey的性能永远不会比groupByKey差。
浏览 0提问于2015-10-20得票数 19
回答已采纳
我已经在shell中单独测试了我的错误代码p6: org.apache.spark.rdd.RDD[(String, (String, String, Int))] = MapPartitionsRDD[11] at map at <console>:26
scala> val p8 = p7.reduceByKeytype misma
浏览 0提问于2018-05-03得票数 0
回答已采纳
subject object
node2 [node5,node7] }
// this can be optimized if we use re
浏览 2提问于2017-01-23得票数 1
回答已采纳
在“学习火花”中读到
groupByKey()在RDD中禁用映射端的聚合，因为聚合函数(附加到列表)不会节省任何空间。然而，根据我的理解，而不是使用groupByKey，而是使用类似于reduceByKey或(CombineByKey +一个组合器函数)之类的东西，我们可以减少数据的混乱。
浏览 0提问于2016-12-10得票数 0
回答已采纳
2回答
尽管RDDs是遗留下来的--而且在下一次任务之前还有一点时间--我仍在想：
考虑到它的工作原理类似于Map中的combineByKey，那么真正的意义是什么？在实际情况下，我怀疑它不是经常使用的，一般情况下(根据我自己的观察)，已经重新划分了它。
浏览 3提问于2020-05-21得票数 1
我正在使用Apache Spark执行map-reduce工作，但是映射步骤会生成一个结构，这会占用大量内存。在将额外的映射对象添加到内存之前，我如何让它从内存中减少和删除映射？我基本上是在做myrdd.map(f).reduce(r)。但是，f返回了一个非常大的对象，所以我需要运行缩减程序，然后在堆积太多对象之前从内存中删除映射的对象。我能以某种方式做到这一点吗？
浏览 0提问于2018-04-27得票数 0
9回答
我觉得我应该能够使用reduceByKey函数来完成这一任务：当这种情况发生时，我得到的错误是：
浏览 9提问于2014-11-18得票数 51
回答已采纳
1回答
JavaPairDStream<String, byte[]> groupByKeyList = kafkaStream.reduceByKey((bytes, bytes2) -> bytes);myCalc.doTheStuff(myThingsList);
调试时，我看到在while
浏览 6提问于2017-01-30得票数 0
回答已采纳
在Spark中使用Java编写代码时，我一直面临着reduceByKey中的参数在Spark中的问题。我不理解reduceByKey函数中使用的参数。我知道reduceByKey的意思和它的工作方式。是java类。new KruskalReducer(numPoints), numSubGraphs);
我不明白为什么在reduceByKey中使用这样的整数变量。我试图用R
浏览 4提问于2017-06-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
