1回答
但是，当我执行它时，程序会无休止地运行，并收到以下警告： ? 代码如下： vertices = sc.createDataFrame(lst_sent,['id', 'Sentence'])
edges = sc.createDataFrame(final_rdd
浏览 65提问于2020-07-29得票数 1
3回答
我正在运行火花作业，而且没有足够的空间在内存警告中缓存rdd_128_17000。但是，在附加的文件中，很明显，在719.3 G的中只使用了90.8G。为什么会这样呢？谢谢!15/10/16 02:19:41 WARN storage.MemoryStore: Not enough space to cache rdd_128
浏览 4提问于2015-10-16得票数 9
我是阿帕奇星火的初学者。到目前为止，我对RDD的理解是，一旦生成了一个RDD，它就不能被修改，而是可以转换成另一个RDD。现在我对此有几点怀疑：
如果在对RDD应用某些转换时将RDD转换为另一个RDD，那么前面的RDD会发生什么呢？这两个RDD都存储在内存中吗?如果被缓存，并且在缓存的RDD上应用了一些转换来生
浏览 0提问于2021-02-18得票数 0
他们是相当独立的彼此，不重要谁跑第一。val outData1 = myUtiltity1.process(inputData, utilData1)val outData2 = myUtiltity2.process(outData1, utilData2)
这项工作花费的时间比(40+20) = 60分钟长得多，myUtiltity1和myUtiltity2 keey中的一些任务都要重新尝试。
浏览 5提问于2015-06-23得票数 0
1回答
我想知道缓存的RDD的范围是什么。例如：rdd.cacheotherClass.calculate(rdd) // This method performs various actions.
// Pass the RDD to
浏览 0提问于2015-10-02得票数 1
回答已采纳
我知道Apache 持久化方法会将RDD保存在内存中，如果内存空间不足，则将剩余的RDD分区存储在文件系统(磁盘)中。我似乎无法理解的是以下几点：Apache
浏览 1提问于2018-09-20得票数 3
回答已采纳
我使用flatMap创建了一个RDD。稍后，我将对其执行范围分区。如果我坚持原来的RDD，一切都很好。但是，如果我不缓存它，范围分区程序部分想要重新计算原始RDD的部分。我理解如果我没有足够的内存，但是在这种情况下，我的系统中的内存比RDD占用的内存多得多。其次，RDD<em
浏览 2提问于2016-10-25得票数 5
我经常处理因超过记忆限制而被纱线杀死的容器。我怀疑这与以低效方式缓存/取消RDDS/Dataframes有关。
调试这类问题的最佳方法是什么？我看过Spark中的“存储”选项卡，但是"RDD名称“没有比"MapPartitionsRDD”或"UnionRDD“更具有描述性。如何确定哪些特定的RDD占用缓存中的最大空间</em
浏览 2提问于2017-11-20得票数 0
回答已采纳
我试图持久化一个share，其中每个分区的元素都共享对单个大型对象的访问。但是，这个对象似乎多次存储在内存中。() //force computation
storage.MemoryStore:块rdd</
浏览 0提问于2014-11-22得票数 4
在进行即席数据分析时，我遇到了一个非常简单但令人沮丧的模式：
您将rdd1缓存在内存中，然后将rdd2缓存在内存中，由于内存限制，这会将rdd1逐出到磁盘。如果你要取消持久化rdd2，有没有什么办法让spark把rdd1移回内存呢？
浏览 0提问于2020-04-10得票数 0
3回答
我在试着了解星火的缓存是如何工作的。在上面，rdd1将只从磁盘(例如HDFS)加载一次。(当保存rdd2时，我假设)，然后从缓存(假设有足够的内存)保存rdd3 )基本上是重复的，不是吗？因为一旦计算了<
浏览 2提问于2015-04-27得票数 47
回答已采纳
spark.textFile("hdfs://...")errors.persist()
论文系统：“注意到基本的RDD(行)没有加载到内存中，这是可取的，因为错误消息可能只是数据的一小部分(小到足以容纳内存)”。我的问题是如何判断RDD是否会加载到ram中<
浏览 3提问于2015-03-05得票数 1
回答已采纳
4回答
我使用cache()来缓存内存中的数据，但是我意识到，在没有缓存数据的情况下，我需要对其进行缓存，以从内存中删除数据：//doing some computation但我得到的错误是：
值uncache不是org.apache.spark.rdd.RDD
浏览 3提问于2014-09-19得票数 32
回答已采纳
我想知道当我放入一个RDD，然后通过修改有限数量的值得到一个新的RDD时会发生什么。rdd.cache如果我使用rdd2的话，RDD中没有被触摸的部分是否还在缓存中？此外，我需要更新分区，其中的值是修改后<em
浏览 3提问于2016-09-09得票数 0
我知道如何在scala.But中找到文件大小如何在spark中找到RDD/dataframe大小？如何找到RDD大小？
浏览 4提问于2016-01-26得票数 45
回答已采纳
当我们想不止一次使用RDD时，我们可以将它持久化到内存和/或磁盘中。但是，我们以后是否必须自己取消它，或者当不再需要RDD时，火花是否会进行某种类型的垃圾收集和不持久化？
浏览 2提问于2015-09-17得票数 32
回答已采纳
我使用Spark2.0.2(在DSE / DataStaX企业版5.1中)来运行一些流媒体应用。我的Spark streaming应用程序为每个微批处理调用了一些RDD.persist()，而RDD.unpersist()从未被调用过(到目前为止，我们依靠缓存空间的LRU功能来解除持久化)。我想我会在Spark UI的"Storage“选项卡中看到持久化RDD的列表增长了很多。
然而，在Spark
浏览 0提问于2019-07-05得票数 0
2回答
我是Spark的初学者，我正在运行我的应用程序，从文本字段读取14 am的数据，进行一些转换和操作(收集，collectAsMap)，并将数据保存到数据库
浏览 5提问于2017-01-14得票数 12
我有一个RDD，它是通过读取一个大小约为117 of的本地文本文件形成的。我缓存RDD:-res84: rdd.type = MapPartitionsRDD[3] at textFile at <console>:24
在此之后，完成后，我将检查Spark的存储页面。它显示我缓存的分数仅为2%，内存中的</em
浏览 4提问于2015-07-20得票数 3
1回答
我想要一种方法，一次从RDD返回一个行(或小批)，这样我就可以在需要时在本地收集行。我的RDD足够大，无法放入名称节点上的内存中，因此运行collect()会导致错误。是否有一种方法可以重新创建collect()操作，但需要一个生成器，以便将RDD中的行传递给缓冲区？另一种选择是每次从缓存的RDD中take() 100000行，但我认为take(
浏览 2提问于2015-11-19得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
