无法运行"spark-submit“命令
"spark-submit"命令是Apache Spark框架中用于提交Spark应用程序的命令行工具。它用于将应用程序打包并提交到Spark集群进行执行。
Apache Spark是一个快速、通用的大数据处理框架，它提供了分布式数据处理和分析的能力。通过使用Spark，用户可以在大规模数据集上进行高效的数据处理、机器学习、图形计算等任务。
"spark-submit"命令的使用方法如下：
spark-submit [options] <app jar | python file> [app arguments]其中，[options]是一些可选的参数，用于配置Spark应用程序的执行环境和资源分配。<app jar | python file>是应用程序的jar包文件或Python脚本文件。[app arguments]是应用程序的命令行参数。
"spark-submit"命令的一些常用参数包括：
--class <main-class>：指定应用程序的主类。--master <master-url>：指定Spark集群的URL。--deploy-mode <deploy-mode>：指定应用程序的部署模式，可以是"client"或"cluster"。--executor-memory <memory>：指定每个Executor的内存大小。--num-executors <num-executors>：指定Executor的数量。--driver-memory <memory>：指定Driver的内存大小。
"spark-submit"命令的应用场景包括：
- 执行Spark应用程序：通过"spark-submit"命令，可以将打包好的Spark应用程序提交到Spark集群进行执行。
- 调试和测试Spark应用程序：可以在本地模式下使用"spark-submit"命令来运行和测试Spark应用程序，以便进行调试和验证。
腾讯云提供了一系列与Spark相关的产品和服务，包括云服务器、弹性MapReduce（EMR）等。通过腾讯云的云服务器，用户可以搭建自己的Spark集群，并使用"spark-submit"命令提交和执行Spark应用程序。
更多关于Spark的信息和腾讯云相关产品的介绍，请参考以下链接：
相关·内容
我已经正确地完成了所有的工作，但是当我尝试运行spark-submit时，我想可能是java出了问题。当我运行以下命令时： (base) C:\SparkCourse>spark-submit ratings-counter.py 我得到了这个错误： Exception in thread "main"
浏览 297提问于2021-10-12得票数 -1
我们使用Spark读取器读取CSV文件以转换为DataFrame，并且在yarn-client上运行作业，它在本地模式下运行良好。
我们正在提交edge node中的火花作业。
浏览 6提问于2016-12-24得票数 1
如果该命令运行超过1分钟，我希望停止它，然后继续运行下一个命令。\python_demo.py $part命令spark-submit将把我的代码提交给纱线在成功提交之后，它将运行到代码ython_demo.py停止为止。但现在我想继续提交，如果一个是成功提交。现在，shell运行如下：
spark-submit</
浏览 5提问于2020-07-20得票数 0
回答已采纳
Kerberos主体和键标签：
在受保护的集群中运行spark-submit命令需要用户spark-submit，而Spark应用程序必须在hdfsuserA (700)拥有的HDFS目录/user/hdfsuserA/...中打开一些文件。由于我启用了Kerberos，我的Spark应用程序将不再运行，因此它将失败
浏览 3提问于2016-12-02得票数 3
回答已采纳
com.databricks.spark.csv").option("header","true").save("hdfs://localhost:9000/Flight") }错误
spark-submit
浏览 4提问于2016-12-14得票数 2
spark-submit --master yarn-cluster \ --files ... \ -otherflagsRuby返回即使spark-submit在系统路径中。更令人困惑的是：在Ruby中，似乎可以正确地调用shell命令。
浏览 0提问于2016-08-18得票数 0
1回答
我试图使用putty在hdfs上运行spark代码。spark-submit WorstMoviesSpark.py 但是当我输入上面的代码时，它返回了一个错误： python: can't open file '/home/maria_dev/WorstMoviesSpark.py
浏览 42提问于2021-10-21得票数 0
回答已采纳
我正在运行一个项目与卡夫卡和阿帕奇火花。为了运行我的kafka流，我在项目中运行以下命令：然而，我只是得到了下面的错误：
bash: /spark-submit: No such file or director
浏览 4提问于2018-06-12得票数 0
1回答
但不知何故，它总是抱怨找不到spark-submit命令。但是当我复制出命令并直接在我的终端中运行时，它运行得很好。-bin-hadoop2.7/bin/spark-submit'#!$S3_ZK_ZNODE_PARENT \ "
我尝试过的方法:当我直接将这个命令复制出来
浏览 6提问于2017-08-18得票数 0
回答已采纳
1回答
我有一个在启动时运行脚本的cron作业，它是我使用crontab -e创建的。/bin/bash
bash /home/ubuntu/ec2-script.shspark-submit
但我得到了spark-submit: command但是，当脚本在启动时运行时，它无法找到spark-submit命令。我试着把睡眠也放进去，这样火花就会正常启动，但没有帮助。如果有人指出
浏览 0提问于2018-08-09得票数 0
我已经创建了一个火花WordCount应用程序，我在本地模式下使用spark-submit命令在shell中运行该应用程序。当我尝试在纱线上以cluster模式运行它时，使用以下命令：它似乎没有运行，并将状态显示为：
application_1480577073003_0019申请报告(状态:
浏览 2提问于2016-12-14得票数 2
因此，我尝试将apache spark-submit命令的输出重定向到文本文件，但一些输出无法填充文件。下面是我使用的命令：我可以在终端中看到输出，但在文件中看不到它。我在这里忘记或做错了什么？编辑：spark-submit something.py | less
我可以看到所有的输出都被输送到less中
浏览 2提问于2017-09-26得票数 11
回答已采纳
1回答
我正在远程集群设置(由4个节点组成)上运行Spark应用程序。当我使用以下命令在远程计算机上以本地模式运行应用程序时，spark-submit --class "Main" --master
浏览 3提问于2015-12-26得票数 0
我喜欢避免使用spark-submit，而是使用python driver_file.py开始我的PySpark代码但是，由于某些原因，当我尝试使用以下代码执行此操作时，我无法访问我试图访问的资源。
浏览 88提问于2018-06-22得票数 2
如果我启动pyspark，然后运行以下命令：Command: /usr/local/spark/bin/spark-submit my_script.py collapse运行pyspark和运行</e
浏览 0提问于2014-11-04得票数 20
1回答
我用eclipse创建了scala文件，在我用sbt和sbt assembly.After编译和创建了一个jar之后，我在本地用.jar运行了Spark，它可以正常运行。现在我想试着在hadoop上使用Spark运行这个程序，我有一台主机和两台工作机。我必须更改代码吗？我对主机的shell执行什么命令？
浏览 1提问于2015-06-10得票数 0
我正在尝试使用下面的命令从spark-shell执行一个程序
spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricksspark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \
浏览 43提问于2017-07-14得票数 1
回答已采纳
我正在尝试使用所有的亚马逊EC2 m4.large实例来启动和运行ApacheSpark集群。因此，现在，当我尝试从我的$SPARK_HOME中提交一个示例应用程序示例/src/main/python/pi.py时，使用以下命令(如建议的 )
./bin/spark-submit --master spark://ip-172-31-43-158.ec2.internal:7077 examples/src/main/python&
浏览 5提问于2016-11-26得票数 1
回答已采纳
2回答
如何编写一个PySpark脚本，将spark-submit命令行记录到日志输出中？例如，当我运行：spark-submit script.py arg1 arg2 --flag arg3 --out output
除了运行它的任务之外，我还希望这个命令将命令行记录到一个名为output.log的日志文件中，这样我就可以轻松地跟踪我是如何运行它的。
浏览 1提问于2017-07-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
