1回答
我现在有这行代码来过滤并将一个函数应用到RDD。data_to_update.rdd.map(find_differences).filter(lambda row: bool(row)) 我想修改find_differences函数，使其除了row之外还接受另一个参数unique_id。
浏览 14提问于2021-05-08得票数 0
回答已采纳
Spark有broadcast变量(它们是只读的)和accumulator变量(这些变量可以由节点更新，但不能读取)。是否有办法--或者解决办法--定义一个既可以更新又可以读取的变量？当文件作为rdd加载和处理时，将执行计算。这些计算的结果--在几个并行运行的节点中进行--需要放在一个映射中，该映射具有正在处理的实体的一些关键属性。当rdd中的后续实体被处理时，缓存将被查询。Scala确实有ScalaCache，它是缓存实现(如Goo
浏览 0提问于2016-04-04得票数 12
回答已采纳
3回答
我对Spark还不熟悉，并试图找出如何在具有多个条件的RDD中使用筛选器，并获得records.Scenario的计数如下：
我不需要使用DataSet/DataFrame解决方案，而只需要使用RDD与地图和过滤器。
任何帮助都很感激。
浏览 1提问于2018-10-12得票数 0
回答已采纳
1回答
对于机器学习和异常检测的数据预处理，我想根据一些滤波器参数来分割流。到目前为止，我已经了解到，DStreams本身不能被分成几个流。我主要面临的问题是，许多算法(如KMeans)只接受连续数据，而不是像url或其他字符串那样的离散数据。
我很乐意得到任何关于如何处理我的问题的建议。
浏览 3提问于2017-07-04得票数 3
回答已采纳
1回答
我有以下Python测试代码( ALS.train的参数在其他地方定义)： r2 = (3, 1) modelmodel.predictAll(test)
print predictions.count()这是可行的，因为它对预测变量和输出的计数为1：1
ParallelCollectionRDD[2691] at parallelize at Py
浏览 4提问于2016-05-22得票数 6
回答已采纳
我有一张地图，SingleGroupIdentifierMapper.java说现在我的问题是，我现在有来自多个来源的输入，有不同的格式。，我从驱动程序类传递给映
浏览 2提问于2015-09-23得票数 0
有办法在一次传递数据的过程中得到三幅地图吗？我试图在一个大文件中列出的单词和特性之间计算PMI。getFeaturesFromLine(line)})
然后我重复一遍，分别得到单词计数和特征计数在寻找如何做到这一点的过程中，我看到了关于将结果保存到磁盘时的多个输出的问题(没有帮助)，我还看到了一些关于累加器(看起来不像我所需要的)的问题，但仅此而已。还要注意的是，我不能在一个
浏览 8提问于2016-02-02得票数 3
1回答
at org.apache.spark.SparkContext.clean(SparkContext.scala:1623) at test.scala.org.<redacted>.NQTest$.testDatasets(NQTest.scala:31)
与我在这里看到的关于这个异常的其他堆栈溢出问题不同，这似乎是关于RDD本身，而不是我传递给过滤<
浏览 1提问于2015-06-17得票数 0
如果我使用RangePartitioner对两者进行分区，df_b.partitionByRange($"A")
来自这两个数据文件的数据将如何在节点之间分布我很难理解的是，星火如何将df_a的一个分区映射到df_b的分区，以及如何将这两个分区发送到同一台机器进行处理。
浏览 0提问于2018-10-26得票数 3
回答已采纳
我有几个关于星火内部的问题，特别是RDD。基于文档中的内容，RDDs的谱线图是DAG结构。
在节点下降并需要重新计算分区数据的情况下，会发生什么情况？执行的步骤的确切顺序是什么？
浏览 6提问于2016-02-03得票数 0
1回答
如何提高火花性能？
、、、、
该方案是做什么的：我的主要方法是： JavaSparkContext sc = new JavaSparkContext(sparkConf);
// read text file to RDD
浏览 6提问于2020-05-22得票数 3
回答已采纳
1回答
在将数据显示在React应用程序之前，我正在尝试对数据进行过滤。当我通过查询试用邮递员时，一切都是正确的。我会附上一张邮差的照片
我尝试过一些解决方案，但它们并不适用于您，如所附代码所示。getServicesSupportList = () => api.post(url.GET_SERVICES_SUPPORT_LIST);
就像你在
浏览 11提问于2022-11-07得票数 1
回答已采纳
使用Vue 3和Vue Router，如何创建具有多个动态参数的动态路由？ 这些参数需要能够以任何顺序传递。让我们假设我们有一个名为"Products“的视图，我们的客户端有多个过滤器选项，当他们过滤某些东西时，这些过滤器被传递到URL中。它们可以传递0个参数或10+参数。这取决于他们在过滤什么。假设用户可以像下面这样
浏览 188提问于2021-02-16得票数 0
回答已采纳
从两个RDD开始，内容如下：
有没有一个更快，更有空间效率的方式加入这些RDD基于最短的有-新距离？
浏览 3提问于2016-03-27得票数 3
回答已采纳
我已经实现了一个Java过滤器，它使用提供的Java使用来自PingFederate ( PF )服务器的令牌。这使我的应用程序能够在PF SSO设置中为服务提供者应用程序提供服务。agent-config.txt");MultiMap将是令牌属性的映射，如果没有向请求参数传递令牌，则为null。现在我所要做的就是将属性映射到我的应用程序用户模型。代理-config
浏览 5提问于2010-04-30得票数 0
我的第一个问题是如何在ssrs报表URL中传递多值参数。例如，传递给report url的简单参数对我来说工作得很好。，但如何为同一参数传递多个值，如等谢谢
浏览 3提问于2011-12-03得票数 0
回答已采纳
1回答
我对Scala和RDDs相当陌生。我有一个非常简单的场景，但它似乎很难用RDDs实现。
为什么我的joinedRDD类型在创建之后没有被识别，这样我就可以继续使用它上的复
浏览 1提问于2018-03-15得票数 0
回答已采纳
2回答
斯派克
、、、
假设我们有两个集群和1000个点，并且我们希望在集群中运行它，其中包含两个从节点和一个主节点。我认为第一个函数(最近的)可以被认为是映射器，而第二个函数是组合函数，但是最后一个函数应该做什么呢？
浏览 3提问于2014-07-07得票数 2
回答已采纳
我发现RDD的map函数生成map任务，而数组的map函数不生成任何新任务，reduce函数也是如此。
浏览 0提问于2016-09-14得票数 2
2回答
我在Scala和Apache一起工作。下面是一段简单的代码，它显示了我所看到的问题的类型。我不太理解Spark闭包的参数绑定规则。
我真正要寻找的是一种基本的方法或模式，用于如何使用另一个RDD的内容(以前是
浏览 6提问于2015-10-17得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
