我有一个Spark集群在HDFS之上以YARN模式运行。我启动了一个具有2个内核和2g内存的worker。然后，我提交了一个动态配置为1个执行器和3个核心的作业。尽管如此，我的作业仍然能够运行。有人能解释一下启动worker的内核数量和为executors请求的内核数量之间的区别吗？我的理解是，因为执行器在工人内部运行，所以他们不能获得比工人可用的资源更多的资源。
浏览 6提问于2017-01-11得票数 0
如何在使用独立群集管理器时配置SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES的核心数量。
浏览 10提问于2020-08-26得票数 0
我从用户spark尝试过：尝试更改/usr/lib/spark/conf/spark-defaults.conf export SPARK_WORKER_INSTANCES=6
export
浏览 12提问于2018-08-21得票数 0
回答已采纳
每个容器实际上是一些Vcore和一部分堆内存的混合。
有没有人能确认一下是一个执行者得到一个容器，还是一个执行者可以有多个容器。我在Cloudera上读到了一些关于YARN内存管理的文档，似乎是说Container分配了一个Executor。
浏览 3提问于2018-08-09得票数 3
我在一个由5个工作节点组成的集群中使用Spark1.3.0，每个节点有36个核心和58 36内存。我想配置Spark的独立集群，每个工作人员拥有许多执行者。下面是集群的最新配置：spark.executor.instances = "10"
spark.executor.memory = "10g"当向群集提交
浏览 4提问于2015-04-29得票数 12
回答已采纳
我的集群包含以下硬件：
spark.driver.memory=4g
SPARK_WORKER_CORES=10
<em
浏览 9提问于2015-12-01得票数 3
3回答
Spark独立集群调优
、、、
我们在一个8核50 We内存的节点上运行spark 2.1.0独立集群(单工作进程)。我们使用以下内存设置在集群模式下运行spark应用程序---worker-memory = 43GB (all remaining cores - 7 cores)应用程序不是内存密集型的，有
浏览 5提问于2017-12-15得票数 0
我正在做一个在独立模式下运行的spark流媒体作业。默认情况下，执行器将日志附加到$SPARK_HOME/work/app_idxxxx/stderr和stdout文件中。创建cron作业也不起作用，因为spark有一个指向该特定文件的指针，并且更改名称可能不起作用。
我找不到这些特定日志的任何文档。我真的很感谢你的帮助。
浏览 0提问于2018-03-09得票数 1
我已经在主机和2个工人上安装了Spark。每个worker的原始核心数是8。当我启动主机时，worker可以正常工作，没有任何问题，但问题是在Spark GUI中每个worker只分配了2个核心。
浏览 8提问于2019-12-05得票数 2
回答已采纳
我已经尝试将配置属性设置为滚动stderr日志(它正在不断增长)mySparkConf.set("spark.executor</e
浏览 0提问于2016-10-27得票数 1
我们正在经历比SPARK_WORKER_CORES预期更多的内核运行(设置为一个)。Executor为工作节点上的应用程序启动的进程，它运行任务并将数据保存在内存或磁盘存储中。每个应用程序都有自己的执行程序.
因此-对于最后一句:一个给定的工作者节点上是否可以有多个执行程序？
浏览 3提问于2015-05-01得票数 6
回答已采纳
运行sparkling-shell时：出现以下错误：我们在spark-env.sh中设置了如下内容：export SP
浏览 1提问于2016-04-07得票数 1
我对spark和pyspark非常陌生。我已经在一个带有12内核和24g的linux机器上安装了我需要的所有东西。spark.conf.set('spark.executor.cores', &#x
浏览 6提问于2020-02-04得票数 0
1回答
在阅读了这些文档之后，我不明白Spark在Spark上运行是如何导致Python内存消耗的。它算在spark.executor.memory，spark.executor.memoryOverhead还是在哪里？特别是，我有一个带有PySpark的spark.executor.memory=25G应用程序，spark.executor.cores=4和我经常遇到容器因为超出内存限制而被终止。
浏览 5提问于2016-10-05得票数 27
回答已采纳
我正在搜索spark在源代码中如何以及在哪里为每个执行器分配内核。是否可以在独立群集模式下以编程方式控制分配的核心？
问候你，马泰奥
浏览 5提问于2016-06-08得票数 0
编辑1:在工作节点上尝试使用network_mode: host，结果相同
1节点，具有1个火花主节点和X工作人员
spark_1executor app-20220701133058-0002/536 o
浏览 8提问于2022-07-02得票数 0
2回答
火花启动比指定更多的执行器
、、、、
我正在一台有96核和128 GB内存的机器上进行测试。这些是我在/conf中使用的配置文件。SPARK_MASTER_HOST='5.153.14.30'SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_WEBUI_PORT然而，两个执行程序被启动，每个有30g
浏览 1提问于2016-08-28得票数 2
1回答
我在集群的每个节点上安装了pre_built版本的spark (只需下载并解压缩)我是否必须将文件slaves.template和spark-env.sh.template复制到conf目录中如果是，我如何仅通过命令来执行此操作我在一台远程机器上使用master (当我想从我的本地机器使用以下命令访问spark web UI时
http://IPofRemoteMachine
浏览 2提问于2016-08-30得票数 0
当我启动一个Spark作业时，我会找到Executor启动命令行，如下所示：org.apache.spark.executor.CoarseGrainedExecutorBackend
--driver-url spark://CoarseGrainedSchedule
浏览 0提问于2016-12-22得票数 0
我正在尝试在spark (2.3.1) for java中运行一个应用程序，不方便的是每次我尝试运行spark时都会抛出一条消息：“初始作业没有接受任何资源；检查你的集群用户界面，以确保工作者已经注册并且有足够的资源”(在所有这些尝试中，spark在相同的worker中，但在相同的端口中添加和删除executor )。我在计算机A中使用master，在计算机B中使用worker，将计算机A设置为3g的驱动程序内存，将worker设置为2g (这是因为应
浏览 33提问于2019-09-09得票数 0
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号