在spark-submit命令中设置default.parallelism
是用来指定Spark应用程序的默认并行度。并行度是指同时执行的任务数量，它决定了Spark应用程序在集群中的并行执行能力。
默认并行度是指在没有明确指定并行度的情况下，Spark应用程序使用的并行度。可以通过设置default.parallelism参数来调整默认并行度。
默认并行度的设置对于Spark应用程序的性能和资源利用率非常重要。如果并行度设置得太低，可能导致任务无法充分利用集群资源，从而降低应用程序的执行效率。如果并行度设置得太高，可能会导致资源竞争和负载过重，从而影响应用程序的稳定性和性能。
在Spark中，默认并行度的计算方式是根据集群的总核数和任务数量来确定的。可以通过以下公式计算默认并行度：
default.parallelism = max(total_cores, 2)
其中，total_cores表示集群的总核数。
在实际应用中，可以根据具体的业务需求和集群资源情况来调整默认并行度。如果需要增加并行度，可以通过增加集群的核数或者调整任务数量来实现。
腾讯云提供了一系列与Spark相关的产品和服务，包括云服务器、弹性MapReduce、云数据库等。具体产品和服务的介绍可以参考腾讯云官方网站：https://cloud.tencent.com/product/emr
相关·内容
我有一个脚本，填充多个火花提交作业的参数。当我将它们复制并粘贴到shell中时，作业可以工作，但是当我将字符串放在反号中并从Ruby中执行它时，作业就失败了。
spark-submit --master yarn-cluster \
--num-executors 2 \
--files ... \
--class ... \
-otherflags ...
Ruby返回
sh: 1: spark-submit: not found
即使spark-submit在系统路径中。更令人困惑的是：
`spark-submit`
在Ruby中，似乎可以正确地调用shell命令。
浏览 0提问于2016-08-18得票数 0
2回答
我正在尝试使用spark-submit部署spark job，它有一堆参数，比如
spark-submit --class Eventhub --master yarn --deploy-mode cluster --executor-memory 1024m --executor-cores 4 --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
我正在寻找一种方法，将所有这些标志放在文件中传递给spark-submit，使我的spark-submit命令更简单，就像下面这样
spark-submit
浏览 24提问于2017-03-16得票数 4
回答已采纳
我喜欢避免使用spark-submit，而是使用python driver_file.py开始我的PySpark代码
我们使用spark.driver.extraJavaOptions和spark-submit或spark-defaults配置文件设置了一些代理设置。相反，我希望在Python代码中设置此选项，以便可以使用python driver_file.py运行它
但是，由于某些原因，当我尝试使用以下代码执行此操作时，我无法访问我试图访问的资源。但是通过在spark-default中使用相同的选项，我可以做到。我做错了什么？
sconf = SparkConf().set("sp
浏览 88提问于2018-06-22得票数 2
在执行spark-submit作业时，更改默认并行度的语法是什么？ 在提交spark作业时，我可以通过以下命令指定executor、executor内核和executor内存的数量： spark-submit --num-executors 9 --executor-cores 5 --executor-memory 48g 在conf文件中指定并行度为： spark.conf.set("spark.default.parallelism",90) 如果我在spark-submit命令中更改它，它会是?： spark-submit --default.parallelism
浏览 41提问于2020-09-27得票数 0
回答已采纳
我正在尝试使用spark-submit在spark集群中执行我的python代码。
通常，我们使用python代码运行spark-submit，如下所示。
# Run a Python application on a cluster
./bin/spark-submit \
--master spark://207.184.161.138:7077 \
my_python_code.py \
1000
但是我想通过传递几个参数来运行my_python_code.py，是否有明智的方法来传递参数呢？
浏览 12提问于2015-08-26得票数 46
回答已采纳
1回答
在使用spark-submit传递参数时，我尝试在Databricks上调用R笔记本。
我的方法看起来像这样：
com <- "spark-submit foo.R p1 & spark-submit foo.R p2"
system(com)
这应该调用脚本foo.R并移交参数p1。
这将返回：
sh: 1: spark-submit: not found
sh: 1: spark-submit: not found
我希望这会将两个作业提交给Spark集群。我错过了什么有什么帮助吗？谢谢!
浏览 1提问于2018-12-23得票数 1
1回答
我有一个由两个工人和一个主人组成的集群。为了启动Master&Worker，我在主机器中使用了sbin/start-master.sh和sbin/start-slaves.sh。然后，主UI向我显示奴隶还活着(所以，到目前为止一切都还好)。当我想要使用spark-submit时，问题就来了。
我在我的本地机器中执行这个命令
spark-submit --master spark://<master-ip>:7077 --deploy-mode cluster /home/user/example.jar
但是会弹出以下错误：ERROR ClientEndpoint: Exc
浏览 9提问于2020-03-13得票数 0
回答已采纳
在Apache Spark中，对于"Spark-submit“命令，是否存在一个”标志“来控制并行级别。
浏览 0提问于2016-08-27得票数 0
如果该命令运行超过1分钟，我希望停止它，然后继续运行下一个命令。
for((part=0;part<=100;part++));
do
spark-submit \
--verbose \
--master yarn \
--deploy-mode cluster \
--conf spark.pyspark.python=myenv/bin/python3 \
python_demo.py $part
done
命令spark-submit将把我的代码提交给纱线。在成功提交之后，它将运行到代码ython_demo.py停止为止。但现在我想继续提交，如果一个是成功提交。
现在，she
浏览 5提问于2020-07-20得票数 0
回答已采纳
我安装了spark，并试图使用以下命令在shell中运行目录'/home/xxx/Desktop/BD_Project‘train.py’
我的队友，谁使用相同的页面，我做的火花安装，没有问题时，运行这个。但是，它为我抛出以下错误：bash: /bin/spark-submit: No such file or directory
浏览 4提问于2021-12-04得票数 0
spark-submit允许使用--conf spark.executorEnv.FOO=bar配置executor环境变量，Spark REST API允许使用environmentVariables字段传递一些环境变量。不幸的是，在集群模式下使用spark-submit提交驱动程序时，我没有发现与配置驱动程序的环境变量类似的内容：
spark-submit --deploy-mode cluster myapp.jar
是否可以在集群模式下使用spark-submit设置驱动程序的环境变量？
浏览 1提问于2016-06-18得票数 19
3回答
当我使用spark的Java API从IDE运行我的Spark作业时，我得到了所需的编码格式(UTF-8)的输出。但是，如果我从命令行启动“spark-submit”方法，输出就会错过编码。
当通过命令行界面使用时，有没有办法强制编码为“spark-submit”。
我使用的是Windows 10操作系统和Eclipse IDE。
您的帮助我们将不胜感激。
谢谢。
浏览 46提问于2016-07-28得票数 1
回答已采纳
1回答
我正在为一个用python编程的项目使用kafka和spark streaming。我想将kafka producer的数据发送到我的流媒体程序中。当我使用指定的依赖关系执行以下命令时，它可以顺利地工作：
./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 ./kafkastreaming.py
是否有任何方法可以指定依赖项并直接运行流代码(例如，不使用spark-submit或使用spark-submit但不指定依赖项)。
我尝试在spark的conf目录中指定spark-defaul
浏览 2提问于2017-06-26得票数 0
2回答
Spark 上提到了大量可调设置。但是，正如告诉的那样，Spark属性的SparkSubmitOptionParser属性名可能与该属性的名称不同。
例如，spark.executor.cores作为--executor-cores在spark-submit中传递。
在哪里可以找到Spark的所有调优参数(以及它们的SparkSubmitOptionParser属性名称)的详尽列表，这些参数可以用spark-submit命令传递？
浏览 2提问于2018-03-20得票数 3
回答已采纳
我在yarn的客户端模式下使用spark-submit提交一个pyspark作业。 spark-submit \
--name $APP_NAME \
--master yarn \
--deploy-mode client \
--num-executors 16 \
--executor-cores 1 \
--driver-memory 6g \
--executor-memory 2g \
--py-
浏览 333提问于2020-10-02得票数 0
我正在做的Cloudera教程和做"4。提交应用程序火花-提交“。我做错了什么让运行教程失败？我发现火花壳和火花提交，但没有从/bin文件夹中的火花泥.
export SPARK_HOME="/opt/cloudera/parcels/CDH"
spark-submit --master local[2] --conf
"spark.dynamicAllocation.enabled=false" --jars
$SPARK_HOME/lib/spark/lib/spark-examples.jar kafka_wordcount_keke.p
浏览 5提问于2017-10-16得票数 0
回答已采纳
我正在运行bin/run-example ml.ImputerExample。我知道这将转化为类似于spark-submit --name MyApp --class MyMainClass --master local[2] myapplication.jar的东西。
但它转化为什么呢？我已经查看了bin/run-example，但没有找到答案。bin/run-example含量
if [ -z "${SPARK_HOME}" ]; then
source "$(dirname "$0")"/find-spark-home
fi
expo
浏览 11提问于2017-10-29得票数 1
回答已采纳
在spark-submit命令中指定num-executors是否可以覆盖所有已启用的动态分配(spark.dynamicAllocation.enable true)？
浏览 1提问于2018-01-20得票数 5
2回答
我们安装了一个新的Spark版本，因此所有文件夹的名称都类似于：
ls /etc/hadoop/
2.6.4.0-91 conf conf.backup
从spark-submit我们得到
spark-submit --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.2.0.2.6.4.0-91
/_/
我需要的是识别火花版本- 2.
浏览 0提问于2018-01-21得票数 1
回答已采纳
我想使用从集群外部通过HTTP调用来执行Spark作业，其中Spark jar已经存在于HDFS中。
我可以从集群节点上的shell中spark-submit该作业，例如：
spark-submit --class io.woolford.Main --master yarn-cluster hdfs://hadoop01:8020/path/to/spark-job.jar
请注意，--master yarn-cluster是访问jar所在的HDFS所必需的。
我还可以使用curl通过Livy提交命令。例如，此请求：
curl -X POST --data '{"file&#
浏览 1提问于2016-11-30得票数 2
我会在一台机器上运行我的flink应用程序，我想为这个应用程序指定20个核心。实际上，我想做的是，以火花为例：
spark-submit --master local[20]
我会问我如何像火花一样在一台机器上提交我的flink申请。
浏览 3提问于2019-09-23得票数 0
回答已采纳
我有两个版本的Python。当我使用spark-submit启动spark应用程序时，该应用程序使用默认版本的Python。但是，我想用另一个。如何指定spark-submit使用的Python版本？
浏览 2提问于2015-05-01得票数 34
在使用spark-submit提交作业时，我设置了主URL，并为他提供了一个主类，例如：
spark-submit --class WordCount --master spark://spark:7077 my.jar
但是在这个主类中，我的spark上下文定义了另一个主url：
SparkSession.builder().appName("Word2vec").master("local").
这让我感到困惑，如果我向独立集群(spark://spark:7077)的主机发送一个带有spark-submit的作业，而该主机启动了一个带有local主机的Sp
浏览 1提问于2016-08-08得票数 8
回答已采纳
假设我有一个遥控器星系团。我可以使用ssh登录远程星火集群主机，并使用这样的示例运行spark-submit：
$SPARK_HOME/bin/spark-submit /usr/lib/spark2/examples/src/main/python/pi.py
现在我已经在我的笔记本上安装了spark，但是我没有运行它。我想在我的笔记本电脑上对远程星火集群主机运行$SPARK_HOME/bin/spark-submit。我该怎么做呢？
浏览 1提问于2018-05-03得票数 2
我们希望通过SparkContext在代码中设置aws参数
sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)
然而，我们有一个自定义的Spark launcher框架，它需要通过spark-submit命令行的--conf参数来完成所有自定义的Spark配置。
有没有办法“通知”SparkContext将--conf值设置为hadoopConfiguration而不是其通用Sp
浏览 0提问于2017-03-15得票数 13
回答已采纳
在spark-submit中指定配置文件后(如在中)
spark-submit \
--master local \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties"\
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties"\
--py-files ./dist/src-1.0-py3-none-any.whl\
-
浏览 4提问于2021-05-13得票数 0
回答已采纳
1回答
我在纱线模式下运行spark作业。我使用spark-submit在Unix shell脚本中运行作业。我想在日志文件中保留Unix文件夹上的spark-submit命令日志。
我试过了
spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class $main_jar |& tee -a ${log_file}
使用tee命令。然后我检查上面命令的状态，如下
浏览 0提问于2019-07-02得票数 1
1回答
一个非常简单的问题：
我尝试使用bash脚本来提交spark作业。但不知何故，它总是抱怨找不到spark-submit命令。但是当我复制出命令并直接在我的终端中运行时，它运行得很好。
我的外壳是鱼壳，下面是我在鱼壳配置中的配置：~/.config/fish/config.fish
alias spark-submit='/Users/MY_NAME/Downloads/spark-2.0.2-bin-hadoop2.7/bin/spark-submit'
下面是我的bash脚本：
#!/usr/bin/env bash
SUBMIT_COMMAND="HADOOP_
浏览 6提问于2017-08-18得票数 0
回答已采纳
1回答
我使用spark-submit提交了一个作业，作业完成得很正确，但它没有显示在Yarn中。
如何在纱线中直接查看该过程？我已经指定了纱线客户端模式，但在纱线网络控制台我什么也没看到。
浏览 10提问于2019-09-22得票数 1
回答已采纳
我想在远程服务器上的yarn集群上运行spark streaming应用程序。默认的java版本是1.7，但我希望我的应用程序使用1.8，它也在服务器中，但不是默认版本。有没有办法通过spark-submit指定Java1.8的位置，这样我就不会收到major.minor错误？
浏览 2提问于2016-04-26得票数 16
1.我增加了这一行./conf/scapk.env.sh
**export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_INSTANCES=7**
2.我在终端上运行了这个代码。
./sbin/start-all.sh
3.所有的工人和主人都
浏览 2提问于2017-06-12得票数 0
如何使用python脚本执行多个火花提交命令。
Ex:
spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar
spark-submit --class com.demo.DemoApplication3 --master local[2] Demo2.jar
spark-submit --class com.demo.DemoApplication3 --master local[2] Demo3.jar
浏览 2提问于2020-07-06得票数 0
我曾尝试编写一个从DataFrame到DataFrame的转换方法。我还想用scalatest来测试它。
如您所知，在Spark 2.x with Scala API中，您可以按如下方式创建SparkSession对象：
import org.apache.spark.sql.SparkSession
val spark = SparkSession.bulider
.config("spark.master", "local[2]")
.getOrCreate()
这段代码可以很好地处理单元测试。但是，当我使用spark-submit运行
浏览 2提问于2017-07-31得票数 7
1回答
我正在构建一个被坞化的spark应用程序，它将通过一个entrypoint.sh文件运行，该文件反过来运行一个spark-submit
#!/bin/bash
export SPARK_DIST_CLASSPATH=$(hadoop classpath):$HADOOP_HOME/share/hadoop/*
export _JAVA_OPTIONS="-Xms2g -Xmx8g -XX:MaxPermSize=8g"
spark-submit \
--master local \
--conf "spark.driver.extraJavaOpti
浏览 1提问于2021-06-01得票数 1
回答已采纳
我有一个类似于以下内容的shell脚本：
FOO="bar gum"
$ spark-submit --verbose --class SomeApp some.jar "$FOO"
然而，这将导致：
Main class:
SomeApp
Arguments:
bar
gum
正如我所预料的，只有一个关于“酒吧口香糖”的论点
/update
关于这个问题就这么简单了
我真正拥有的是：
FOO="bar gum"
$ ssh host spark-submit --verbose --class SomeApp some.jar "$FO
浏览 1提问于2015-06-08得票数 4
回答已采纳
嗨，谢谢你的帮助，
我知道有很多关于这个问题的话题，我读了很多，尝试了很多解决方案，但是什么都没有发生，我的spark-submit任务仍然只在我的32个可用内核上使用一个内核。
使用我的spark-submit命令，我启动了一个Pyspark脚本。这个Pyspark脚本对大量的拼图文件执行spark.sql命令(大约6000个文件，每个文件大约6M，总共有6亿个数据库元组)。
我使用一个有32个cpu和128个Go的AWS实例，以及一个2To EBS DD，上面存储了我的parquet文件(它不是hdfs文件系统)
我没有以主服务器的身份启动spark，只是在我的单个EC2实例上的独立解决方
浏览 4提问于2021-03-29得票数 0
1回答
如何使用spark中的一个呼叫包进行R的数据操作？
下面是我试图在hdfs中访问我的test.csv的例子
Sys.setenv(SPARK_HOME="/opt/spark14")
library(SparkR)
sc <- sparkR.init(master="local")
sqlContext <- sparkRSQL.init(sc)
flights <- read.df(sqlContext,"hdfs://sandbox.hortonWorks.com:8020 /user/root/test.csv",
浏览 1提问于2015-06-20得票数 2
回答已采纳
我已经创建了一个火花WordCount应用程序，我在本地模式下使用spark-submit命令在shell中运行该应用程序。
当我尝试在纱线上以cluster模式运行它时，使用以下命令：
spark-submit --class com.WordCount --master yarn --deploy-mode cluster WordCount-1.0.jar
它似乎没有运行，并将状态显示为：
application_1480577073003_0019申请报告(状态:接受)
如何在集群模式下spark-submit在纱线上的应用？
浏览 2提问于2016-12-14得票数 2
有没有人可以解释一下，我如何使用spark-submit中的--files参数将master中的文件发送给所有的执行者？
/bin/spark-submit --master yarn --queue development --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=128G --files /keras/mnist.npz
但这给了我一个错误。我是spark的新手。
Exception in thread "main" java.lang.IllegalArgumentE
浏览 0提问于2018-12-26得票数 0
这些天我正在学习星火，但我对星火的配置有点困惑。AFAIK，至少有3种配置方式：
环境变量，
命令行参数，如./bin/spark-submit --class <main-class> --master xxx --deploy-mode xxx --conf key=value
代码，如Scala/Java代码中的代码。
为什么有这么多的方法去做，有什么不同呢？有什么最佳做法吗？
浏览 3提问于2015-12-28得票数 1
我在haddoop集群上使用spark-submit命令提交了pyspark作业。命令如下所示 spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --num-executors 2 --executor-memory 1g --executor-cores 2 --py-files module_stm_extracts.py,module_table_compare.py datacheck,py 作业已完成，但我从未在控制台中获得应用程序id。我如何找到应用程序日志，以便我可以查看
浏览 77提问于2021-08-08得票数 0
回答已采纳
当使用spark -submit(纱线模式)提交spark流程序时，它会一直轮询状态，从不退出
spark-submit中有什么选项可以在提交后退出吗？
===why this trouble me===
流程序将永远运行，我不需要状态更新
如果我手动启动它，我可以ctrl+c来停止它，但我有很多流上下文要启动，我需要使用脚本启动它们
我可以将spark-submit程序放在后台，但在创建了大量后台java进程之后，对应的用户将无法运行任何其他java进程，因为JVM无法创建GC线程。
浏览 1提问于2016-05-13得票数 18
回答已采纳
我在Windows10机器上使用spark-submit执行spark作业时遇到错误。该命令为： c:\workspaces\Spark2Demo>spark-submit --class retail_db.GetRevenuePerOrder --master local .\target\scala-2.12\spark2demo_2.12-0.1.jar c:\workspaces\data\retail_db\orders\part-00000 c:\workspaces\output 我得到的错误是： 2019-03-12 19:09:33 ERROR SparkCont
浏览 49提问于2019-03-12得票数 1
回答已采纳
我希望能够运行像spark-submit test_file.py --dependencies= adobe_analytics这样的命令，它执行以下任务
安装在dependencies参数中传递的库
使这些库在使用spark-submit命令运行的火花会话中可用
我的test_file.py看起来像下面-
from pyspark.sql import SparkSession
# import all libraries here
from adobe_analytics import Client
spark = SparkSession.builder.master
浏览 0提问于2019-03-12得票数 0
如果我启动pyspark，然后运行以下命令：
import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')
一切都很好。然而，如果我试图通过命令行和spark-submit来做同样的事情，我会得到一个错误：
Command: /usr/local/spark/bin/spark-submit my_script.py collapse ./data/
File "/usr/local/spark/python/pyspark/rdd.py", line 352, in f
浏览 0提问于2014-11-04得票数 20
如果我有一个用setMaster("local")编译的火花作业(2.2.0)，如果我用spark-submit --master yarn --deploy-mode cluster发送这个作业会发生什么？
我尝试过这样做，看起来这项工作确实被打包并在纱线集群上执行，而不是在本地执行。
我不清楚的是：
为什么要这么做？根据这些文档，在SparkConf中设置的东西显式地优先于从命令行或通过spark-submit传递的内容(参见：)。这不一样因为我用的是SparkSession.getBuilder
在代码中保留setMaster("local")与删
浏览 2提问于2017-07-22得票数 2
回答已采纳
我试图在spark-submit中指定一个目录作为--文件的参数。作业失败的消息如下：
org.apache.spark.SparkException: Added file file:[directory path] is a directory and recursive is not turned on.
spark-submit --help中没有任何关于指定递归的内容，而谷歌搜索也没有显示出这一点。有人知道这事吗？
浏览 6提问于2017-05-24得票数 1
回答已采纳
我更新了我的路径如下：
PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"
我认为它起作用了，因为我设法从一个不同的文件夹调用火花壳(虽然我想知道我是不是要疯了，它真的是从bin文件夹)。然而，在重新启动Ubuntu之后，它似乎不再起作用了。为什么？
Could not find valid SPARK_HOME while searching ['/home/username', '/usr/local/bin']
/usr/local/bin/sp
浏览 1提问于2017-09-01得票数 5
回答已采纳
2回答
当我在AWS控制台中手动启动EMR集群时，我在SSH进入我的集群后运行以下命令：
spark-submit --master yarn-cluster --deploy-mode cluster --class spark_pkg.SparkMain
s3://mybucket/scala-1.0.jar -s arg1 -l arg1
在Python中使用Boto3时如何做到这一点？下面是我的steps代码：
steps = [
{
'Name': 'Running jar file',
浏览 5提问于2020-10-29得票数 2
我试图将日志路径传递给spark-submit，如下所示：
spark-submit \
--master local[*] \
--conf -Dlogback.configurationFile=C:\Users\A661758\Desktop\logback.xml \
target\scala-2.11\dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jar \
C:\Users\A661758\Desktop\Atos_Integration_Donnees_V0.1_2017\AC_LIMOGES_JSO
浏览 6提问于2017-06-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
