2回答
请建议我们所说的这句话是什么意思："The application master will start an executor in container".换句话说，一个执行者将在容器中运行。我知道容器的定义是指我们分配了%的资源(cpu，ram，disk)，但这句话仍然让我感到困惑，应用程序主机将在容器中启动一个执行器。我们的意思是，当java虚拟机加载到Ram中时，执
浏览 45提问于2019-09-11得票数 0
我刚开始学习星火和建筑。我理解spark支持3个集群管理器，如纱线、独立和Mesos。如果我的理解是正确的，那么是否需要在Yarn集群的
浏览 0提问于2019-06-14得票数 1
1回答
我有一个EMR集群，它正确地派生了6个执行器，每个执行器有4个核心。当spark作业在集群上运行时，它创建了6个容器，每个容器只分配了1个核心，如何指定每个容器分配的核心数量？相关配置：spark.executor.cores: 4
yarn.scheduler.minimum.allocation.vcores: 4
浏览 0提问于2021-08-06得票数 0
spark作业在较低优先级队列中运行。当更高优先级的任务到来时，它的容器就会被抢占。然而，它在被杀死后立即重新启动容器。优先级更高的应用程序会再次杀死它们。因此，应用程序陷入了这种僵局。here讨论了执行器的无限重试。在日志中找到下面的痕迹。因此，我设置的任何重试次数似乎都不会被考虑。是否有一个标志来指示应该对executor中的所有失败进行计数，并且在发生maxFailures时
浏览 131提问于2019-05-21得票数 4
我是大数据环境的新手，刚开始使用Zookeeper安装具有HA功能的3节点Hadoop集群2.6。有人能指导我安装步骤吗？我只能找到如何将Spark设置为独立模式，并且我已经成功设置了它。现在我想在Yarn集群中安装相同的软件以及HA功能，
我有三个节点集群
浏览 1提问于2016-03-23得票数 0
1回答
后来在我看到的日志里..。aborting jobINFO spark.ExecutorAllocationManager: Existing executor 1 has been removed (new total is 0)
从我从上面的原木中收集到的信息来看，这似乎是纱线中的容器尺寸问题。= 102
浏览 5提问于2017-04-04得票数 12
回答已采纳
1回答
我试图使用.py从终端运行一个spark-submit file.py文件，但它不起作用。但是，如果我使用python file.py阅读它，它就能工作。(SparkContext.scala:1529) at org.apache.spark.SparkContext<init>(SparkContext.scala:461)
at org.apache.spark.api
浏览 0提问于2018-11-09得票数 0
我无法理解为Map Reduce和Spark作业分配资源的内部机制。在同一个集群中，我们可以运行Map Reduce和Spark作业，但是对于运行map reduce作业，内部资源管理器将为作业分配可用的资源，如数据节点和任务跟踪器。在内部执行我所需的N个数的映射器和减速器。
当涉及到Spark上下文时，它需要工作节点和执行器(内部为JVM)来计
浏览 1提问于2017-06-10得票数 1
我在Google Cloud Dataproc上使用Spark streaming来执行一个框架(用Python编写)，它由几个连续的管道组成，每个管道代表Dataproc上的一个作业，它基本上是从Kafka在Dataproc上运行这个Spark streaming框架在5月初(准确地说是5月3日)之前一直相当稳定:我们开始遇到频繁的套接字超时异常，这会终止我们的管道。它似乎与集群上的负载无关，因为它并没有显著增加。它在一天中也是随机发生的</
浏览 0提问于2016-05-24得票数 3
sparkContext和sparkConf的用途是什么？寻找细节上的差异。超过下面的定义：
Spark Context是任何spark应用程序的入口点，用于访问所有spark特性，并且需要一个包含所有集群配置和参数的sparkConf来创建Spark Context对象。
浏览 0提问于2020-05-02得票数 0
根据[，纱线容器的数量应该等于spark应用程序的执行器数量。然而，在一次运行中，我确实看到Spark-UI环境选项卡中显示的num-executors是60个，但yarn中显示的容器数量只有37个。我使用的是spark 2.2，spark.dynamicAllocation.enabled设置为false。我使用Azure-H
浏览 1提问于2019-04-03得票数 1
我使用AWS批处理服务上的r4.8xlarge来运行Spark。这已经是一台大机器，32 vCPU，244 GB。在AWS批处理服务中，进程在Docker容器中运行。在多个源中，我看到我们应该使用带有参数的java：即使有了这些参数，当进程超过31 GB的驻留内存和</e
浏览 1提问于2018-03-28得票数 1
1回答
我不只是提高执行器内存、执行器内存开销或调优我的资源或分区，我想知道为什么我的堆内存正在扩展。我使用的是v2.4.4，据我所知，纱线内存开销(用于执行器)是由我的Spark程序(外部JVM)分配的任何堆外内存。容器对运行执行器的最大内存大小由spark.executor.memoryOverhead、spark.executor.memory、<
浏览 5提问于2021-03-08得票数 3
回答已采纳
6回答
我的问题是，纱线-客户模式到底意味着什么？文件中说：
在纱线客户端模式下，应用程序将在本地启动。就像在本地/ Mesos /独立模式上运行应用程序或星火外壳一样。与纱线独立模式的具体区别是什么？
浏览 5提问于2013-12-27得票数 53
回答已采纳
我从用户spark尝试过：尝试更改/usr/lib/spark/conf/spark-defaults.conf export SPARK_WORKER_INSTANCES=6
export SPARK_WOR
浏览 12提问于2018-08-21得票数 0
回答已采纳
我正尝试在Dataproc集群上运行Spark作业，但由于Yarn配置错误，Spark无法启动。从shell运行"spark-shell“时(在主机上本地运行)，以及从本地计算机通过web-GUI和gcloud命令行实用程序上传作业时，我收到以下错误：java.lang.IllegalArgum
浏览 0提问于2015-11-09得票数 10
回答已采纳
2回答
我的输入数据集大约是150克。我正在设置--conf spark.executor.instances=20 --conf spark.driver.memory=4GContainerkilled by YARN for exce
浏览 2提问于2016-10-27得票数 4
回答已采纳
我无法配置YARN和Spark来利用我在GCP上的Dataproc Spark集群上的所有资源。我正在运行1个master (4个核心)和2个worker (16个核心)集群，我希望我的Spark应用程序使用worker实例上可用32个核心中的30个。.appName(appName)} 如果问题可能与spark逻辑有关(可能是分区或其他什么)，我还提供了spa
浏览 35提问于2020-04-07得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
