spark worker使用了多少个jvm进程？
spark worker使用了多少个jvm进程？
提问于 2019-01-27 06:12:54
每个spark executor都在自己的JVM进程中运行，这意味着在每个工作进程(从进程)上将有多个JVM在运行。可以肯定地说，每个worker运行的JVM数量与分配给该机器的执行器数量+至少多一个JVM一样多(因为spark在每个worker上至少需要多一个用于BlockManager的JVM)。换句话说，每个worker上的BlockManager是否在不同的JVM进程上运行？
回答 1
Stack Overflow用户
发布于 2019-01-27 14:33:36
您使用的是哪个集群管理器？
Spark使用K8s/ Mesos/ Yarn等集群管理器进行资源分配。JVM将在何处运行将由集群管理器决定。Spark作为客户端从这些集群管理器请求资源。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54383287
复制相关文章
相似问题
腾讯云开发者
