1回答
什么是"spark.executor.memoryOverhead“和"spark.memory.fraction"？
默认属性是什么？
浏览 1提问于2018-12-10得票数 0
回答已采纳
我读了一本书“垃圾收集调优的权威傻笑”，书上说：如果OldGen已接近满，则通过降低spark.memory.fraction来减少用于缓存的内存量；与其减慢任务执行速度()，不如缓存更少的对象。问题--为什么我们应该减少spark.memory.fraction以减少缓存的内存？难道我们不应该减少spark.memory.storageFract
浏览 2提问于2021-11-17得票数 0
/bin/spark submit-驱动程序-内存6g -conf "spark.memory.fraction=0.6“spark.memory.fraction=0.6 svm.txt 100
浏览 0提问于2017-07-11得票数 2
回答已采纳
1回答
Spark SQL是这样的：SELECTFROM A, B~~~ (complex join)但是它在我的本地测试中显示了OOM错误。at org.apache.spark.sql.catalyst.expressions.UnsafeRow.copy(UnsafeRow.java:535)
at org.apache.spa
浏览 0提问于2016-09-12得票数 0
1回答
我运行pyspark作业来做一些转换，并将结果保存到hdfs中的orc文件中，我的spark conf是： --driver-memory 12G --executor-cores 2 --num-executors 8 --executor-memory 32G ${dll_app_spark_options} --conf spark.kryoserializer.buffer.max=2047 --conf spark.driver.maxResultSize=4g --conf spark.shuffle.memoryFraction=0.7 --conf spark.yarn
浏览 16提问于2020-11-03得票数 0
1回答
我知道spark.memory.fraction是用来确定用于存储的spark.executor.memory的分数，而不是用于处理的数量。但是，假设我的spark.executor.memory是10 is，spark.memory.fraction是0.75。这是火星雨1.6.1。
浏览 0提问于2017-12-07得票数 2
1回答
当我配置Yarn时，有一个用于分配内存的JAVA_HEAP_MAX环境变量。当我实例化一个Spark worker时，spark.executor.memory会覆盖这个值吗？我有什么理由需要通过-Xmx手动设置Java heap，或者Spark conf会处理这个问题吗？
浏览 2提问于2016-12-13得票数 2
1回答
内存可用时使用磁盘资源的火花
、、、、
我正在优化星火集群(运行在AWS EMR上)的性能，该集群使用ALS矩阵分解算法执行协作过滤。我们使用了相当多的因素和迭代，所以我试图优化这些步骤，特别是。当我有足够的内存可用时，我试图理解为什么我要使用磁盘空间。以下是可用的总体集群内存：下面是剩余的磁盘空间(注意磁盘利用率的下降)：我试过查看Yarn管理器，它似乎表明每个节点从都有: 110 GB (已使用)4GB(used.)。您还可以看到在第一个映像(700 GB)上分配的总数。我还尝试过更改ALS源代码，并将intermediateRDDStorageLevel和finalRDDStorageLevel从MEM
浏览 0提问于2017-09-27得票数 3
回答已采纳
(执行器驱动程序).memory= 10g
存储内存= 3G (spark.executor.memory * spark.memory.fraction * s
浏览 1提问于2018-11-27得票数 2
回答已采纳
1回答
我们正在使用Spark 2.4.5在Kubernetes集群上运行一个星火流应用程序。应用程序通过Kafka主题接收大量数据(每个3ms有一条消息)。正在使用4个执行器和4个kafka分区。当使用以下命令检查驱动程序pod资源时：我们可以看到内存增加，直到达到1.4GB，并且吊舱被杀死。
但是，在Spark上检查驱动程序的存储内存时，我们可以看到存储内存没有得到充分使用(50.3 KB / 434 MB)。驱动程序的存储内
浏览 4提问于2020-08-14得票数 9
1回答
在决定设置设置用户内存边界的必要参数(spark.memory.fraction)时，应该注意哪些类型的重对象存储在用户内存中，并且应该加以考虑？
浏览 7提问于2022-11-26得票数 1
1回答
我在纱线集群(HDP 2.4)中使用Spark，设置如下：
当我使用命令运行我的spark应用程序时，spark-submit --num-executors 10 -
浏览 4提问于2016-07-13得票数 4
回答已采纳
1回答
library(sparklyr)conf$spark.executor.memory <- "60GB"
conf$spark.memory.fraction
浏览 3提问于2018-11-01得票数 1
1回答
如下所示：我不明白年轻的Gen\Old gen是如何与存储\执行内存重叠的，因为在同一文档()中声明：
但
如果OldGen已接近满，则通过降低spark.memory.fraction来减少用于缓存的内存量；与其减慢任务执行速度
浏览 4提问于2020-08-24得票数 3
回答已采纳
我首先将数据集从csv导入到Spark，在Spark中做一些转换，然后尝试将其转换为H2O帧。下面是我的代码：library(h2o)library(sparklyr)
浏览 4提问于2018-11-06得票数 0
1回答
Spark 2.0内存分数
、、、、
据我所知，它被"spark.memory.fraction“取代了。如何在考虑HDFS排序和存储的同时修改此参数？
浏览 2提问于2016-09-23得票数 6
回答已采纳
但是，将其设置为0.1、0.5甚至0.9并不显示Executors选项卡上的"Storage“列有任何更改：更改spark.memory.fraction参数是我在本专栏中看到更改的唯一方法
浏览 0提问于2018-05-28得票数 2
为了增加用户内存，我甚至将spark.memory.fraction减少到了0.3，但仍然会出现相同的错误。似乎降低这一价值没有任何影响。我正在使用星火1.6.1和编译与星火1.6核心库。
浏览 2提问于2016-10-22得票数 11
回答已采纳
我有一个由一个主服务器(Slaver1)和两个工作人员(slaver2，slaver3)组成的spark2.0.1集群，每台机器都有2GB的RAM.when --当我检查web中的执行器内存时，运行命令./bin/spark-shell --master spark://slaver1:7077 --executor-memory 500m (slver1:4040/executors/)。我发现它是110 is。
浏览 4提问于2017-04-12得票数 0
回答已采纳
云服务器
ICP备案
即时通信 IM
云直播
对象存储
腾讯云开发者
