我试图通过将RDD的每个元素发送给executors进行进一步处理来处理和RDD。我在驱动程序代码中创建RDD，如下所示：test.add("conf1");JavaRDD<String> result = sc.parallelize(test);
我不确定如何处理它，
浏览 0提问于2017-08-16得票数 0
回答已采纳
我想知道如何在worker上创建RDD，比如包含Map。这个Map/RDD会很小，我希望这个RDD完全驻留在一台机器/executor上(我想repartition(1)可以做到这一点)。此外，我希望能够在本地executor上缓存此Map/RDD，并在此executor上运行的任务中使用它进行查找。
我该怎么做呢？
浏览 1提问于2016-09-27得票数 0
我可以使用50个executor和每个executor 2个内核吗？ 另外，假设批量间隔为10秒，kafka topic的分区数为100，我会从每个kafka分区收到100个RDD，即1个RDD吗？在第10秒批处理间隔内，每个分区是否只有1个RDD。 谢谢
浏览 8提问于2019-02-07得票数 0
在我购买的文档或O‘’Reilly书中，我似乎找不到创建RDD是如何在executors上分配内存的。有人能告诉我下面的代码片段中发生了什么吗？At this point,rdd1 = sc.parallelize(array, 10)
# Transformations return new rdd's, so now I would expect each <e
浏览 2提问于2016-02-03得票数 0
3回答
我有一个案例，我想每隔一小时从远程存储下载一些数据，并将其作为键-值对存储在executor/worker上的RDD中。我想缓存这个RDD，这样将来在这个executor/worker上运行的所有作业/任务/批处理都可以使用缓存的RDD进行查找。这在Spark Streaming中是可能的吗？
浏览 1提问于2016-09-20得票数 2
问题:程序中使用本地*的4台核心pc的处理时间平均为23秒。当我将相同的应用程序部署到16核服务器上时，我期待着处理时间的改进。问:处理时间不应该随着流作业可用核数的增加而减少吗？jsonBuilder.append("[") .foreachRDD { rddrdd.partition
浏览 3提问于2015-09-14得票数 2
回答已采纳
我正在处理一个初始大小为569 MB的数据集，计算TF-IDF度量。ShuffleMapTask.scala:55) at org.apache.spark.executor.Executor(Utils.scala:1360)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.sc
浏览 33提问于2021-10-31得票数 1
1回答
rdd.isEmpty){ i =>{connection.sendToTable() ) }然后，我在一个纱线集群上运行它，使用
spark-submit --master yarn-cluster --num-executors 3 --driver-me
浏览 3提问于2016-02-05得票数 2
回答已采纳
我有一个spark驱动和执行器在kubernetes上运行，执行器与apache ignite实例对话。但是如果executor-1死了，executor-2将由驱动程序创建。现在新创建的executor-2正在抱怨executor 2)：at org.apache.spark.rdd.RDD<
浏览 0提问于2020-02-06得票数 0
当我尝试将作业提交到群集时，作业失败并显示FileNoTFoundException at org.apache.spark.scheduler.Task.run(Task.scala:88) at java.lang.
浏览 1提问于2016-11-01得票数 2
在从redshift卸载数据并开始处理后的几分钟内就会出现这个问题。$$anonfun$mapPartitionsInternal$1$$anonfun$apply$24.apply(RDD.scala:836) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)R
浏览 21提问于2019-12-09得票数 0
回答已采纳
我正在尝试使用Spark (在EMR上是2.1 )处理~500M的gz文件，我没有办法改变格式或将它们分割成更小的尺寸。org.apache.spark.storage.BlockManager.getOrElseUpdate(BlockManager.scala:698) at org.apache.spark.rdd.RDD.iterato
浏览 10提问于2017-05-21得票数 2
在worker和master中，如果我进入os.version_info并执行PYSPARK_PYTHON，我会得到3.5.2，我也正确地设置了所有的环境变量(如stackoverflow和google上的其他帖子)。我通过运行以下命令得到错误：rdd.count() 16/08/13 18:44:31 ERROR Executor(ResultTask.scala:70)
at org.a
浏览 1提问于2016-08-14得票数 1
我想在每个Spark worker上阅读它，以便通过它运行RDD的输出。有没有办法做到这一点？这类似于sc.addFile("program")。or directory at org.apache.spark.rdd.PipedRDD.compute(PipedRDD.scala:119)
at org.apache.spark.rdd.RDD</em
浏览 0提问于2015-02-24得票数 2
500 --maxSimilaritiesPerRow 100 --omitStrength --master local --sparkExecutorMem 8g at org.apache.spark.rdd.RDD.iterator(RDD.scala:270) at org.apache.spark.r
浏览 0提问于2016-01-27得票数 1
回答已采纳
我对scala/ recently世界很陌生，最近我开始着手一项任务，它可以读取一些数据，处理数据并保存在S3上。我阅读了关于堆栈溢出的几个主题/问题，涉及重新分区/合并性能以及分区的最佳数量(如)。假设我有正确的定义数，我的问题是，在将rdd转换为dataframe时重新划分rdd会是个好主意吗？下面是我的代码现在的样子： .map(x =>
浏览 3提问于2020-09-16得票数 1
在我的spark streaming应用程序中，我有一个在worker/executor上作为任务运行的代码(在处理RDD时在foreachPartition()中)。我想创建一个线程作为代码的一部分，它将在executor/worker上持续运行，从启动到executor处于活动状态，监听一些外部事件并基于此采取一些操作。
浏览 0提问于2016-10-23得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号