当使用spark-submit --master yarn提交jar时，它会使用所有6个服务器的cpu和内存，还是只使用3个spark worker节点机器？
浏览 19提问于2019-07-26得票数 0
1回答
我尝试在我的java应用程序中“运行”spark作业，搜索，我发现了以下两种方法：ClientsArguments和SparkLauncher。
浏览 0提问于2016-08-29得票数 0
1回答
导出jar文件并尝试在终端(Ubuntu上)上运行之后，我得到了一个意外的结果home/amel/spark/usr/local/hadoop spark-submit --class bd.spark_app.first.wordcount这是我在eclips
浏览 0提问于2019-05-25得票数 1
回答已采纳
org.apache.spark.SparkException: A master URL must be set in your configurationspark-submit --class financialLineItem.FinancialLineItem s3://trfsmallfffile/AJAR/SparkJob-0.1-jar-with-dependen
浏览 5提问于2018-01-15得票数 0
类似于，除了命令行或脚本。
我正在从我们的连续部署系统中自动运行spark-submit，我需要跟踪应用程序ID，以便在再次运行作业(以及其他各种需求)之前，我可以杀死它。具体来说，这是一个Python脚本，它在一个纱线集群上执行作业，并且可以读取spark-submit的标准输出，我们需要它将应用程序ID保存到以后的时间。到目前为止，我能想到的最佳方案是运行spark-submit，观察标准输出并提取应用程序ID，然后从进程中分离出来。在我看来，这种方法并不理想。最好
浏览 2提问于2015-12-02得票数 2
回答已采纳
1回答
从星火的文档中我们发现：
根据我们现有的火花文件：
因此，主参数是纱线.3)是否有一种通过终端提交应用程序的方法，或者是将jar实际部署到S3上的唯
浏览 0提问于2018-11-01得票数 4
回答已采纳
当我使用命令(master=yarn & deploy-mode=client)运行这个应用程序时我的Spark显示了错误的执行器信息(~512 MB而不是~1400 MB)：
我的应用程序名在客户端模式下运行时等于Test App Name，而在集群模式下运行时是spark.MyApp如何为群集模式设置这些设置？
我在HDP 2.5集群上使用Spark1.6.2，
浏览 2提问于2017-05-04得票数 5
回答已采纳
1回答
errorMessage(wf:lastErrorNode())} </kill></workflow-app>
如何在
浏览 1提问于2020-01-14得票数 0
2回答
我正在编写一个spark应用程序，并使用spark-submit shell脚本运行它(使用yarn-cluster/yarn-client)
正如我现在看到的，spark-submit的退出代码是根据相关的纱线应用程序决定的
浏览 4提问于2017-01-31得票数 6
在分析用于火花作业的纱线launch_container.sh日志时，我对日志的某些部分感到困惑。这之后的是由纱线触发的，这将导出所需的所有env变量。如果我们已经显式地导出了任何东西，比如PYSPARK_PYTHON在.bash_profile中，或者在构建星火提交作业时在shell脚本中或在spark_env.sh中，默认值将被我们提供的值所取代。此PYSPARK_PYTHON是边缘节点中的路径。那么，在另一个节点中启动的容器如何能够使用这个python版本呢？我的集群的数据节点中的
浏览 5提问于2020-08-15得票数 0
我通过spark-submit启动了一个纱线集群模式的spark作业。为了指示部分失败等，我想将退出代码从驱动程序传递到调用spark-submit的脚本。我认为传递自定义退出代码是不可能的，因为驱动程序传递的任何退出代码都会转换为yarn状态，并且yarn会将任何失败的exitcode转换为1或failed。
浏览 1提问于2016-12-29得票数 9
1回答
通过将spark集群配置为spark-standalone，我们正在尝试配置spark-submit作业以利用由pipenv管理的虚拟环境。spark-submit命令当前为：
PYSPARK_DRIVER_PYTHON=./.venv/bin/python \ spark-submit --py-files site.zip src/app.py其思路是，--py-files参数应该将site.zip解压到执行器上的工作目录中，并且应该使用python路径上可用的.venv
浏览 12提问于2018-02-14得票数 4
我很难理解Spark是如何在Yarn上进行内存管理的：--executor-memory 48g当我运行top -p <pids_of最后，在纱线上，当我点击每个容器页面时，我可以看到：Resource: 54272 Memory (container 2)我要求在每个火花执行器48g，然而纱线显示54g，操作系统报告使用15 am的物理
浏览 2提问于2017-09-11得票数 0
回答已采纳
3回答
我正在尝试迁移我们的应用程序来激发纱线的运行。我使用cmdline作为spark-submit --master yarn --deploy-mode cluster -jars ${my_jars}.../launch_container.sh: line 4145: /bin/bash: Argument list too long
我认为原因可能是--jars ${my_jars}选项指定了太多的jars(用逗号分隔的684个罐子)，我的问题是，有什么方法来指定所有的jars呢？或者我们
浏览 5提问于2016-12-14得票数 3
回答已采纳
1回答
火花放电罐式包装
、、、、
我有一个具有python脚本的pyspark项目，它运行星火流。我有一些使用--packages标志运行的外部依赖项。但是，在scala中，我们可以使用maven下载所有所需的包，使用主星火程序创建jar文件，并将所有内容都包含在一个jar中，然后使用spark-submit将其提交到集群(在我的例子中是纱线)。他们只是提到使用spark-submit <python-file>或添加--py-files，但它并不像jar文件那样专业。
任何建议都会有帮助的！谢谢!
浏览 1提问于2016-06-09得票数 4
2回答
大师必须从纱线开始，火花
、、、
beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --
浏览 6提问于2015-10-15得票数 3
回答已采纳
1回答
我的应用程序是从远程pc上通过spark-submit在纱线集群模式下启动的，使用Kerberos keytab和主体：。这种方法的优点是我在任何集群上都有自己的spark版本。是否可以仅通过运行带有HADOOP_CONF_DIR/ YARN _CONF_DIR配置的bash脚本来自动将Ignite/Hazelcast/Accumulo/Kudu或其他在读/写时随机访问的NoSQL
浏览 18提问于2017-12-13得票数 0
1回答
Python : 3.7.3Spark: 2.2.0YARN : 2.6.0-cdh5.10.2
嗨，我试着用python执行python脚本，但是我不明白它是如何工作的我试图发送一个完整的conda环境下的，在执行spark-submit时，在客户端模式中使用参数--archives来实现纱线。但是问题是，主要的python脚本在哪里运行，因为我需要指定我的共享conda环境的位置，以便在没有错误的情况下执行，因为在主机中，我试图退
浏览 5提问于2019-10-29得票数 0
回答已采纳
我正在使用星火2.1 (BTW)在一个纱线集群。我正试图通过火花提交来做到这一点。其中一个有用的答案是： --driver-class-path additional1.jarspark.executor.extraClassPath=additional1.jar:additional2.jar \
--class MyCl
浏览 0提问于2020-11-12得票数 1
我在试着了解斯派克如何准备执行者的细节。default_container_executor_session.shlaunch_container.sh__spark_libs__
问题是谁将文件传递给每个执行器
浏览 5提问于2017-12-08得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
