2、分析 先给出相关的参数（目前所在平台默认参数）： spark.executor.memory=8G spark.executor.memoryOverhead=6144（6G） spark.memory.fraction...jvm堆内的内存分为四个部分（spark.memory.fraction=0.6）： reservedMemory：预留内存300M，用于保障spark正常运行 other memory：用于spark...spark.executor.memoryOverhead=6144（6G） 有点浪费 最后测试参数： spark.executor.memory=12G spark.executor.memoryOverhead=3072（3G） set spark.memory.fraction...=0.75 最合适 其中spark.memory.fraction 不能设置太高，测试时，要为othermemory留一些富裕内存，因为spark内存统计信息收集是有延迟的，如果该值过大，且spill较重情况下
今天，星球里有个妹子问了一个问题，问题出自前面的一篇文章： spark 内存，GC及数据结构调优 其中有段话：在gc的统计信息中，如果老年代接近满了， 减少用于缓存的内存(通过减小spark.memory.Fraction...M和R的计算如下： 1),spark.memory.fraction将M的大小表示为（JVM堆空间 - 300MB） 的一部分（默认为0.75，新版本如spark2.2改为0.6）。...然后就会明白，假如我们单纯的减少spark.memory.storageFraction是行不通的，因为存储内存可以占用执行内存进行缓存，缓解不了老年代被吃满的状况，所以只能调整spark.memory.fraction
} val usableMemory = systemMemory - reservedMemory val memoryFraction = conf.getDouble("spark.memory.fraction...", 0.75) //spark.memory.fraction (usableMemory...* memoryFraction).toLong } 从以上代码及注释我们可以看出，最终 execution 和 storage 的可用内存之和为 (JVM最大可用内存 - 系统预留内存) * spark.memory.fraction...UnifiedMemoryManager 时： maxMemory 即 execution 和 storage 能共用的内存总和为 getMaxMemory(conf)，即 (JVM最大可用内存 - 系统预留内存) * spark.memory.fraction
控制了堆的大小 spark.yarn.executor.memoryOverhead 控制堆外内存，默认值（384MB, 0.07 * spark.executor.memory），该值一般偏小，需要调大 spark.memory.fraction
如果需要更加精确的控制内存分 配，可以按照如下思路： spark.memory.fraction= （估算 storage 内存 + 估算 Execution 内存） / （估算...估算 storage 内存 + 估算 Execution 内存） 代入公式计算： Storage 堆内内存 =(spark.executor.memory – 300MB)*spark.memory.fraction...*spark.memory.storageFraction Execution 堆内内存 = (spark.executor.memory – 300MB)*spark.memory.fraction
spark.memory.fraction参数控制着用于Execution和Storage的总内存比例，而spark.memory.storageFraction则设置了Storage内存的初始保留比例...值得注意的是，虽然Execution和Storage内存池在逻辑上独立，但它们共享同一块物理内存区域——即由spark.memory.fraction配置的统一内存区域。...这个区域的大小由Spark配置参数spark.memory.fraction决定，默认占JVM堆内存的60%（其余40%保留给系统和其他开销）。...合理配置内存比例 通过调整spark.memory.fraction（默认0.6）和spark.memory.storageFraction（默认0.5），可以根据作业类型平衡内存使用。...例如： 对于缓存密集型作业（如迭代式机器学习），可以适当提高spark.memory.storageFraction（例如0.6），并确保spark.memory.fraction不过低（建议≥0.6）
的总内存大小小于 450M，则会抛出异常 storage、execution 安全系数外的内存：大小为 （heap space - RESERVED_SYSTEM_MEMORY_BYTES）*（1 - spark.memory.fraction...space - 300M）* 0.4 storage + execution：storage、execution 内存之和又叫 usableMemory，总大小为 (heap space - 300) * spark.memory.fraction...，spark.memory.fraction 默认为 0.6。...maxMemory 为 （jvm space - 300M）* spark.memory.fraction，如果你还记得的话，这在文章最开始的时候有介绍 如果 MemoryMode 是 OFF_HEAP...spark.memory.fraction：如果 application spill 或踢除 block 发生的频率过高（可通过日志观察），可以适当调大该值，这样 execution 和 storage
} val usableMemory = systemMemory - reservedMemory val memoryFraction = conf.getDouble("spark.memory.fraction...spark.memory.fraction配置项指定了统一内存能实际利用的可用内存比例，默认值为0.6（60%），最终返回可用内存与spark.memory.fraction的乘积。
1.先看webUI具体运行所用的内存大小，配置spark.memory.storageFraction（Storage所占系统内存的比例） 在配置spark.memory.fraction（统一内存占整个内存的大小
事后通过优化spark.memory.fraction和启用堆外内存，系统在2025年同期成功承载了翻倍的数据流量。 从更宏观的角度看，Spark的内存管理还与现代数据架构的发展紧密相关。...尽管Spark提供了相对灵活的内存配置参数，如spark.executor.memory、spark.memory.fraction等，但优化过程往往需要结合具体工作负载进行实验和调整。...初始状态下，Execution和Storage内存的区域大小由配置参数spark.memory.fraction（默认0.6）决定，该比例基于JVM堆内存减去预留空间后的剩余部分。...这两个池子共享同一个总内存空间（由spark.memory.fraction参数控制，默认为JVM堆的60%），并通过动态边界调整实现内存的灵活流动。...spark.memory.fraction：该参数控制Execution和Storage内存池占总堆内内存的比例，默认值为0.6。
作业反复崩溃，无法运行，故手动设置这个参数，到至少1G（1024M），甚至2G、4G spark.shuffle.memoryFraction 此参数属于spark静态内存模型中的参数，统一内存模型中不再生效 spark.memory.fraction...默认是0.6，即Spark存储内存与执行内存总共占用Executor内存的60%，一般不建议修改 spark.memory.storageFraction 默认是0.5，即Spark存储内存与执行内存各占spark.memory.fraction
Executor memory,也就是Executor可用内存上限 spark.memory.offHeap.enabled 堆外内存启用开关 spark.memory.offHeap.size 指定堆外内存大小 spark.memory.fraction
虽然有两个相关的配置，但由于默认值已适用于大多数情况，一般用户是不需要调整这两个参数的： spark.memory.fraction 代表统一共享区域M占Java堆内存-300MB的比例(默认是0.6)...spark.memory.fraction 的值应满足JVM老年代的堆空间大小。有关详细信息，请参考下面关于高级GC调优的讨论。...在打印的GC统计信息中，如果发现年老代将要满了，则通过降低spark.memory.fraction来减少用于缓存的内存占用；缓存更少的对象比降低task的执行速度要更好。或者，考虑减少年轻代的大小。...如果没有设置-Xmn的值，尝试盖面JVM的NewRatio参数的值，许多JVM将这个参数的默认值设为2，这表明年老代占整个堆空间的2/3，它应该足够大，以超过spark.memory.fraction的值
2到5倍的空间 分解一个job之中的transformation 尽量避免在一个transformation中处理所有的逻辑, 尽量分解成map, filter等之类的操作，这样程序会更容易理解 调低spark.memory.fraction
jvm堆内的内存分为四个部分（spark.memory.fraction=0.6） reservedMemory：预留内存300M，用于保障spark正常运行 other memory：用于spark内部的一些元数据
统一内存管理图示——堆内 spark.memory.fraction 堆内的存储内存和执行内存总共所占的比例，默认0.6 spark.storage.storageFraction
HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/hoodie-heapdump.hprof OutOfMemory错误：如果出现OOM错误，则可尝试通过如下配置处理：spark.memory.fraction
以上图解中，参数说明如下： 参数spark.memory.fraction在Spark 1.6版本中默认0.75，即Spark Memory（Execution Memory + Storage Memory
云服务器
ICP备案
即时通信 IM
云直播
对象存储
