Spark提交中的Json参数
是指在使用Spark框架提交任务时，可以通过传递Json格式的参数来配置和控制任务的执行。这些参数可以包括任务的名称、主类、依赖的库、资源配置、执行模式等。
Json参数在Spark中的提交可以通过命令行工具或者编程接口进行。以下是一些常见的Json参数及其含义：
- "name": 任务名称，用于标识任务的名称，方便管理和监控。
- "class": 主类，指定任务的入口类，Spark会从该类的main方法开始执行任务。
- "jars": 依赖的库，指定任务所需的外部依赖库的路径，可以是本地文件系统或者远程URL。
- "driverMemory": 驱动程序内存，指定驱动程序使用的内存大小。
- "executorMemory": 执行程序内存，指定每个执行程序使用的内存大小。
- "numExecutors": 执行程序数量，指定同时运行的执行程序的数量。
- "deployMode": 部署模式，指定任务的部署模式，可以是"client"或者"cluster"。
- "conf": 其他配置项，可以通过该参数传递其他Spark配置项，如spark.executor.cores、spark.executor.instances等。
Spark提交中的Json参数可以根据具体的需求进行配置，以满足任务的要求。通过合理配置这些参数，可以优化任务的性能和资源利用率。
腾讯云提供了云原生的Spark服务，即Tencent Spark，可以通过Tencent Spark提交任务并配置Json参数。具体产品介绍和使用方法可以参考腾讯云官方文档：Tencent Spark产品介绍。
相关·内容
1回答
我有一个spark程序，需要传递一个配置文件作为主方法的参数。当前，当我以纱线集群模式提交作业时，我需要将配置文件放在所有的工作节点中，以便程序能够找到它。但是，我想把它放到HDFS路径中，但是会得到文件未找到的错误。下面是我使用的命令：
spark-submit --master yarn\
--name StreamingApp \
--deploy-mode cluster \
--class com.test.streaming.App \
--driver-java-options "-Djava.security.auth.login=/home/spark/auth.co
浏览 1提问于2021-12-28得票数 0
1回答
我使用火花-卡桑德拉-连接器连接卡桑德拉从火花。
我能够通过Livy成功地使用下面的命令进行连接。
curl -X POST --data '{"file": "/my/path/test.py", "conf" : {"spark.jars.packages": "com.datastax.spark:spark-cassandra-connector_2.11:2.3.0", "spark.cassandra.connection.host":"myip"}}'
浏览 1提问于2019-05-20得票数 1
我需要使用Apache Spark Hidden REST API提交一个py文件，因为我遵循了教程，我找不到任何关于如何提交py文件的示例或文档。
有谁知道吗？有没有可能用py文件代替jar：
curl -X POST http://spark-cluster-ip:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
"action" : "CreateSubmissionRequest",
浏览 33提问于2018-05-22得票数 2
回答已采纳
1回答
我正在使用木星笔记本中的Pyspark，并试图为S3编写一个大型的拼花数据集。
我得到了一个“设备上没有空间”错误。我四处搜索，发现这是因为/tmp已经满了。
现在我想编辑spark.local.dir以指向有空间的目录。
如何设置这个参数？
我发现的大多数解决方案都建议在使用火花提交时设置它。然而，我没有使用星火提交和运行它作为一个脚本从木星。
编辑:我正在使用Spark魔术处理EMR后端，我认为需要在配置JSON中设置spark.local.dir，但我不知道如何在配置JSON中指定它。
我试着在session_configs中添加它，但是它没有工作。
浏览 2提问于2018-06-29得票数 4
我试图连接到Greenplum数据库，使用Spark读取表中的数据，并将其保存为HDFS上的文件。但我面对的障碍与司机或连接器，我正在使用。下面是我的build.sbt文件：
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.0.0" % "provided"
浏览 2提问于2019-01-07得票数 1
我希望修改提交到Google集群中的火花作业。这些作业将在AWS EMR集群上运行。
gcloud dataproc jobs submit spark \
--cluster "${HADOOP_CLUSTER_NAME}" \
--properties "${SPARK_PARTITIONS}${SPARK_PARALLELISM}spark.master=yarn,spark.app.name=${APP},spark.sql.parquet.mergeSchema=false,spark.driver.memory=${D_MEMORY},spark.ui.po
浏览 3提问于2022-04-08得票数 0
1回答
退出代码为143的非零出口容器
、、、、
在这个问题上，我看到了各种各样的线索，但所给出的解决方案在我的情况下行不通。
该环境使用了pyflem2.1.0，Java 7，并且有足够的内存和内核。
我正在运行一个处理Json文件的星火提交作业，该作业运行良好，文件大小<200 if，但是如果超过这个值，对于退出代码为非零的容器，它会失败，然后我检查了纱线日志，错误是java.lang.OutOfMemoryError:所请求的数组大小超过了VM限制。
由于json文件不是可以使用spark.read.json()直接读取的格式，因此应用程序的第一步是将json作为文本文件读入rdd，并将flatMap应用于所需的格式，然后使用sp
浏览 0提问于2020-04-03得票数 0
我正在尝试将一个Typesafe配置文件传递给spark submit任务，并在配置文件中打印详细信息。 import org.slf4j.{Logger, LoggerFactory}
import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark.sql.SparkSession
object Bootstrap extends MyLogging {
val spark: SparkSession = SparkSession.builder.enableHiveSupport().getO
浏览 19提问于2021-10-27得票数 1
我有一张蜂窝桌。我想在spark提交时创建动态spark SQL queries.at，我指定了规则名。基于规则名称的查询应该生成。在spark提交时，我必须指定规则名称。例如：
sparks-submit <RuleName> IncorrectAge
它应该触发我的scala对象代码：
select tablename, filter, condition from all_rules where rulename="IncorrectAge"
我的表:规则(输入表)
|--------------------------------------------
浏览 1提问于2018-10-09得票数 0
1回答
我通过AWSCLI向EMR提交了一个火花作业，EMR步骤和火花信任作为单独的json文件提供。由于某些原因，我的主类的名称作为不必要的命令行参数传递给我的Spark，从而导致作业失败。
AWSCLI命令：
aws emr create-cluster \
--name "Spark-Cluster" \
--release-label emr-5.5.0 \
--instance-groups \
InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge \
Insta
浏览 0提问于2017-06-09得票数 0
回答已采纳
我正在中读取JSON文件
val df=spark.read.json(properties.getProperty("jsonFilePath"))
当我从IDE(Intellij)运行时，这段代码可以工作，但是当我尝试使用submit命令执行时，它会给出以下消息
INFO FileScanRDD: Reading File path: file:///Users/path/to/json/file.json, range: 0-8822, partition values: [empty row]
由于这个原因，我无法处理JSON数据。知道这里会发生什么吗？
这是我
浏览 2提问于2019-05-19得票数 0
4回答
我在ClouderaCDH5.3集群上运行了Spark，使用Spark作为资源管理器。我正在用Python (PySpark)开发火花应用程序。
我可以提交作业，它们可以成功地运行，但是它们似乎从来不运行在多台机器上(我提交的本地机器)。
我尝试过多种选择，比如将部署模式设置为集群，--主从于纱线客户端和纱线集群，但它似乎从未在多台服务器上运行过。
我可以通过传递类似--主local8之类的东西，让它在多个核心上运行，但这显然不会在多个节点上分发处理。
我有一个非常简单的Python脚本，处理来自HDFS的数据，如下所示：
import simplejson as json
from pysp
浏览 3提问于2015-01-30得票数 12
回答已采纳
使用以下内容作为请求的主体，触发带有命名参数的python应用程序的本地REST filename，通过火花提交成功地创建了驱动程序，但是执行失败的信息很少。是--文件名参数导致的吗？有什么想法吗?如何获得更多关于失败的信息？
{ "action": "CreateSubmissionRequest",
"appArgs": [
"/opt/bitnami/spark/hostfiles/bronze.py --filename 'filename.json'"
],
"appResour
浏览 3提问于2022-01-19得票数 0
当我提交CreateSubmissionRequest JSON时，我正在使用Spark隐藏rest api以的形式提交spark应用程序，但不包含以下内容
"environmentVariables" : {
"SPARK_ENV_LOADED" : "1"
},
作业失败，并显示以下错误
WARN Worker: Driver driver-20170206152610-0010 failed with unrecoverable exception: java.lang.NullPointerException
SPARK_ENV_
浏览 9提问于2017-02-06得票数 1
回答已采纳
我的应用程序需要使用spark计算一系列值，我正在尝试让它成为元数据驱动。
[
{
key : "myKeyName",
logic : "scala script"
}
...
]
我有一个类似于上面的json，它将与"app.jar“一起提交给火花。在spark作业的main()中，我希望加载这个json并执行spark中的"logic“脚本，并获取键的值。我认为是我不想要的，但我不确定。仍然在网络上寻找解决方案。任何帮助我们都深表感谢，提前谢谢。
捆绑的jar通过SparkLauncher提交给spark
浏览 0提问于2018-03-15得票数 0
我有一个Spark作业，它将参数作为键值对，并将其映射到代码中，如下所示：
val props = Utils.mapArguments(args)
println(props)
val gcsFolder = props("gcsPath")
val testId=props("test.id")
val bUrl=props("b.url")
......
......
早些时候，我曾将作业作为shell脚本提交给bash中的dataproc集群：
gcloud dataproc jo
浏览 49提问于2021-10-13得票数 2
我运行的k8s版本2.4.5火花。我已经将星火图像存储在GCS中，可以通过spark.kubernetes.container.image.pullSecrets配置访问。我还将火花应用程序jar存储在GCP buckets.When中，使存储桶公开了火花提交工作。我的问题是，我如何访问私人桶，是否有任何配置可以通过火花？我有在GCP中创建的服务帐户，也有json.keyfile。以下是星星之火提交命令：
bin/spark-submit --master k8s://https://host:port --deploy-mode cluster --name spark-pi --class
浏览 2提问于2020-04-01得票数 0
回答已采纳
因此，既然k8s在2.3中直接与spark集成，那么我从控制台发出的spark提交将在没有运行任何火花主播客的情况下正确地执行。因此，spark处理所有的k8s详细信息：
spark-submit \
--deploy-mode cluster \
--class com.app.myApp \
--master k8s://https://myCluster.com \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.app.name=myApp \
浏览 0提问于2018-03-13得票数 5
回答已采纳
据我所知，到目前为止，在spark中，每当对数据集/数据帧调用操作时，都会提交一个作业。这项工作可以进一步划分为阶段和任务，我知道如何找出阶段和任务的数量。下面是我的小代码
val spark = SparkSession.builder().master("local").getOrCreate()
val df = spark.read.json("/Users/vipulrajan/Downloads/demoStuff/data/rows/*.json").select("user_id", "os",
浏览 5提问于2018-10-24得票数 4
我使用Livy REST API提交Spark应用程序。
{
“file”: <application-jar>,
“className”: “<main-class>”,
“args”: my_args,
“conf”: my_conf
}
my_args = [args1, args2, ...]
my_conf = {'foo1': 'bar1', 'foo2': 'bar2'...}
我希望my_conf (json secrets)存储在AWS SSM参数存储中，并在我使用Liv
浏览 0提问于2020-02-21得票数 1
2回答
Java进程调用Bash脚本，如下所示：
./spark_submit.sh ${SPARK_HOME}/bin/spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.historyServer.address=${hadoopconf-yarn.resourcemanager.hostname}:18080
我必须对输入参数运行操作，所以我检查每个参数并重新生成原始输入。
我一个接一个地获得参数，通过访问$1值，然后移动。
我找不到办法阻止巴什解决
${SPARK_HOME}/bin/火花-提交
至
浏览 1提问于2018-05-17得票数 0
回答已采纳
3回答
我是Spark的新手，我想了解如何最好地设置一个项目。我将使用maven进行构建，包括测试。
我写了我的第一个Spark应用程序，但要在开发过程中启动它，我必须在本地模式下运行：
SparkSession spark = SparkSession.builder()
.appName("RDDTest")
.master("local")
.getOrCrea
浏览 1提问于2017-09-22得票数 1
2回答
火花动态分配不起作用
、、、
我想为我提交的应用程序使用spark的dynamic-allocation特性，但是应用程序不缩放。
我的集群由3节点组成，每个节点都有：
4芯
8GB RAM
火花: 1.6
纱线+ MapReduce2: 2.7
我使用hdp2.4并按照以下方式设置所有所需的动态分配属性(它们是在hdp中预先配置的，但我用验证它们)：
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.initialExecutors=5 -spark.dynamicAllocation.maxExecutors=10
浏览 3提问于2016-07-20得票数 0
我知道这个问题有一个duplicate，但我的用例有点具体。我想在电子病历(通过Spark提交)上运行我的Spark作业(编译为.jar)，并给出如下两个选项： spark-submit --master yarn --deploy-mode cluster <rest of command> 为了实现这一点，我编写了如下代码： val sc = new SparkContext(new SparkConf())
val spark = SparkSession.builder.config(sc.getConf).getOrCreate() 但是，这会在构建jar期间给出错误：
浏览 19提问于2021-04-12得票数 1
我正在尝试使用火花结构化流(Sparkv2.2.0)来使用kafka提供的json数据。但是，我遇到了以下错误。
pyspark.sql.utils.StreamingQueryException：‘缺少必要的配置“"partition.assignment.strategy”，它没有默认值。
有人知道为什么吗？这份工作是使用火花提交的-提交如下。
spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0 sparksstream.py
这是整个python脚本。
from pyspark.
浏览 4提问于2017-10-10得票数 7
1回答
我想知道YARN CLI是否提供了使用上一次执行生成的APPLICATION_ID重新提交YARN申请的可能性。
示例：
/opt/mapr/spark/spark-2.1.0/bin/spark-submit --num-executors 5 --executor-memory 2G --executor-cores 2 --master yarn --deploy-mode cluster --files /opt/mapr/hive/hive-2.1/conf/hive-site.xml --class com.cisco.sdp.cdx.processing.DenormSched
浏览 2提问于2018-05-31得票数 2
使用rest 尝试使用Serverless Dataproc提交spark作业
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://dataproc.googleapis.com/v1/projects/project-id/locations/regi
浏览 6提问于2022-03-01得票数 2
回答已采纳
我正在使用MapR发行版进行星火项目，在该项目中启用了动态分配。请参阅下列参数：
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true
spark.dynamicAllocation.minExecutors 0
spark.dynamicAllocation.maxExecutors 20
spark.executor.instances 2
根据我的理解，spark.executor.instances是我们在提交pySpa
浏览 0提问于2019-04-24得票数 2
我的问题专门针对databricks。我试图通过数据库库中的石墨接收器访问火花度量，方法是传递下面的火花配置，并且我希望在创建集群时传递配置。
spark.metrics.conf.*.sink.graphite.class org.apache.spark.metrics.sink.GraphiteSink
spark.metrics.conf.*.sink.graphite.host myhost
spark.metrics.conf.*.sink.graphite.port 2003
spark.metrics.conf.*.sink.graphite.period 10
spark.m
浏览 0提问于2020-06-02得票数 1
回答已采纳
我有一个Spark应用程序，我正在提交给Bluemix Spark Cluster。它从DASHDB数据库读取数据，并将结果写入Cloudant。代码使用Spark和JDBC访问DASHDB。
DASHDB数据库的用户as和密码作为参数传递给程序。我可以通过spark-submit传递这些参数，但我不认为这是安全的。在代码中，我需要知道DASHDB数据库的凭据，因为我使用JDBC连接到各种表。
我正在尝试寻找“最佳实践”的方式，以安全的方式使用spark-submit传递凭证。
提前感谢--约翰
浏览 3提问于2016-05-04得票数 3
我有一个简单的Spark应用程序，它读取一些数据，计算一些指标，然后保存结果(输入和输出是Cassandra表)。这段代码以固定的时间间隔(即每分钟)运行。
我有一个Cassandra/Spark (Spark 1.6.1)，几分钟后，我在Spark集群的主节点上的临时目录就被填满了，并且主节点拒绝再运行任何作业。我提交的工作与火花-提交。
我错过了什么？如何确保主节点删除临时文件夹？
浏览 0提问于2016-05-04得票数 2
我是卡夫卡和斯帕克的新手。我已经通过Kafka生产者传递了消息，并试图在spark流中读取，但在main方法中遇到错误。代码如下所示。
spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.4.7 Streaming Example.py
from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
from pyspar
浏览 15提问于2021-05-27得票数 0
我刚刚注册了一个免费的实例"Analitycs for Apache“，并按照这个使用submit设计脚本在bluemix云集群上运行本地机器上的应用程序。问题如下:我已经完成了本教程中描述的每一件事，并午餐了这个脚本
./spark-submit.sh --vcap ./vcap.json --deploy-mode cluster --master
https://spark.eu-gb.bluemix.net --files /home/vito/vinorosso2.csv
--conf spark.service.spark_version=2.2.0
/home/vi
浏览 5提问于2017-11-10得票数 0
我们一直试图使用主工作者架构在Apache中运行一个java应用程序。下面是pom.xml for java应用程序：
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"&
浏览 2提问于2020-06-18得票数 0
1回答
我正在尝试从cassandra获取已安装在AWS ec2中的数据。当我通过pyspark运行以下命令时，我能够从AWS读取，但是当我通过spark-submit提交相同的python文件时，我从本地获取rdd。你能给我推荐一下我缺少配置的地方吗？
from pyspark import SparkConf, SparkContext
from pyspark.sql.session import SparkSession
conf = SparkConf().setAppName("testCassandra").set("spark.cassandra.connec
浏览 0提问于2017-04-14得票数 2
我正在尝试提交pandas udf的pyspark代码(使用fbprophet...)它在本地提交中运行良好，但在集群提交中出现错误，如
Job aborted due to stage failure: Task 2 in stage 2.0 failed 4 times, most recent failure: Lost task 2.3 in stage 2.0 (TID 41, ip-172-31-11-94.ap-northeast-2.compute.internal, executor 2): java.io.IOException: Cannot run program
&
浏览 0提问于2021-05-31得票数 0
2回答
在Spark环境中，我很难管理如何从Linux文件系统加载JSON文件。顺便说一下，我用的是Spark1.6。
该文件位于/home/wymeka/ file s.json，我正在尝试以下命令行：
spark-submit --master yarn transform.jar --schema-file "file:///home/wymeka/fields.json" --cache
主类中负责加载该文件的行如下：
val df_schema = sqlContext.read.json(pathToSchemaFile)
使用所有这些，将我引向以下异常：
Caused
浏览 7提问于2016-11-22得票数 0
回答已采纳
问题
在EMR 5.21中，Spark - Hbase集成被破坏。
df.write.options().format().save()失败。
原因是json4s-jackson版本3.5.3在spark 2.4中，EMR 5.21
它在EMR 5.11.2，Spark 2.2，son4s-jackson版本3.2.11中运行良好
问题是这是电子病历，所以我不能重建火花与较低的json4s。
有什么变通方法吗？
错误
py4j.protocol.Py4JJavaError:调用o104.save时出错。：org.json4s.jackson.JsonMethods$.parse(Lorg/js
浏览 1提问于2019-03-09得票数 4
2回答
我使用spark-submit提交spark作业，并通过--jars标志指定要加载的Teradata JDBC驱动程序的最新版本(17.10.00.14)。日志确认JAR文件已成功添加。 但是，在与Teradata建立连接时 (
spark.read.format("jdbc").
option("url", url).
option("user", user).
option("password", password).
option("dbtable", table)
)
浏览 136提问于2021-07-15得票数 0
回答已采纳
对于一个项目，我想通过一个网页运行星火。这里的目标是动态提交请求和状态更新。作为灵感，我使用了以下网站链接:当我请求时，在提交以下火花请求后，我将发送一个REST请求来检查火花提交：
星火作业提交的请求代码如下：
curl -X POST http://sparkmasterIP:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
"action" : "CreateSubmissionRequest",
浏览 2提问于2017-03-02得票数 0
我有一个气流运行KubernetesPodOperator为了做一个星火提交呼叫：
spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
dag=dag,
task_id='myApp',
name='myApp',
namespace='data',
image=spark_image,
cmds=['/opt/spar
浏览 3提问于2020-11-26得票数 1
回答已采纳
我正在尝试执行spark字数统计程序。我的输入文件和输出目录在本地，而不是HDFS上。当我执行代码时，我得到输入目录未找到异常。
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object WordCount {
val sparkConf = new SparkConf()
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().config(sparkConf).maste
浏览 6提问于2018-07-21得票数 0
回答已采纳
我可以使用以下命令将json文件读入Pyspark中的dataframe中
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.json("path to json file")
但是，当我尝试将bz2(压缩的csv)读取到数据帧中时，它给我一个错误。我正在使用：
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.load(&#
浏览 1提问于2018-06-05得票数 7
1回答
我正在尝试使用PySpark运行一个作业。与所有示例相比，唯一不同的是，我希望提交来自.egg的工作，而不是.py文件。
为了在常规商品集群中提交PySpark作业，如下所示：
spark2-submit --master yarn \
--driver-memory 20g \
--deploy-mode client \
--conf parquet.compression=SNAPPY \
--jars spark-avro_2.11-3.2.0.jar \
--py-files dummyproject-1_spark-py2.7.egg \
浏览 0提问于2018-11-09得票数 2
回答已采纳
我正在尝试使用Apache Spark 2.2.1将一个JAR提交到我的Scala 2.11集群。我在JAR中包含了一些额外的依赖项，即Apache，并将其打包到一个胖JAR中。然而，当我提交我的星火申请时，我得到了一个NoSuchMethodError。我确信，这并不是由于Scala版本的不一致性，而是由于依赖关系的一些奇怪之处。
命令是简单的spark-submit myjar.jar [arguments]
这是一个错误：
线程“org.apache.commons.cli.Options.addRequiredOption(Ljava/lang/String;Ljava/lang/S
浏览 0提问于2018-02-05得票数 0
回答已采纳
我正在尝试运行scala应用程序，而在shell中，这个工作很好。但是当我用火花-提交，用我的课，它失败了。
spark-submit --deploy-mode cluster --master yarn --class org.apache.spark.examples.SparkPi s3n://bucket/test.scala
Applicacion：
package org.apache.spark.examples
import org.apache.spark.sql.types._
import org.apache.spark.sql.SQLContext
object
浏览 3提问于2016-09-15得票数 0
我想在我的restful web服务中运行Spark SQL查询，那么我如何通过Jersey上下文运行Spark context？我需要将我的Spark SQL请求传递给集群，然后通过REST API将结果返回给用户。但在Spark文档中，如果不将jar文件提交到集群(主/从)，就无法在java代码中运行Spark SQL查询。
浏览 0提问于2015-01-11得票数 5
1回答
我正在尝试运行一个spark作业来使用Spark处理一些Json数据。当我提交作业时，我在日志中看到以下错误，
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00007f29b96d5000, 12288, 0) failed; error='Cannot allocate memory' (errno=12)
# There is insufficient memory for the Java Runtime Environment to continue.
# Native mem
浏览 2提问于2018-01-11得票数 0
2回答
我有一个Pythons脚本，我可以通过以下方式提交给Spark：
/opt/spark/bin/spark-submit --master yarn-client test.py
现在，我尝试以同样的方式提交一个Scala程序：
/opt/spark/bin/spark-submit --master yarn-client test.scala
结果，我得到了以下错误消息：
Error: Cannot load main class from JAR file:/home/myname/spark/test.scala
Run with --help for usage help or --
浏览 1提问于2016-01-08得票数 6
回答已采纳
2回答
是否可能有一个主文件存储一个参数列表，而不是可以从spark-submit命令中引用？
属性文件的示例，configurations.txt (不必是.txt)：school_library = "central" school_canteen = "Nothernwall"
预期需求：
把它叫做火花-提交：
spark-submit --master yarn \
--deploy-mode cluster \
--jars sample.jar \
/home/user/helloworld.py configurations.school_library
浏览 1提问于2018-08-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
