环境: Spark 1.6.2；Linux 2.6.x (Red Hat 4.4.x)；Hadoop 2.4.x。 我今天早上通过spark-submit启动了一个任务，但没有看到它应该写入的文件。我读过一些关于监视spark作业的web UI，但在这一点上，我对Hadoop集群和HDFS上发生的事情的惟一可见性是通过一个bash-shell终端。问:从命令行获得spark作业<e
浏览 12提问于2018-12-22得票数 0
回答已采纳
3回答
在Yarn和EMR上运行Spark 1.3.1。当我运行spark-shell时，一切看起来都很正常，直到我开始看到像INFO yarn.Client: Application report for application_1439330624449_1561 (state: ACCEPTED)这样的消息。同时，我无法使用Spark shell。
我不明白为什么会发生这种事。
浏览 0提问于2015-09-19得票数 5
回答已采纳
谁能解释在Apache的生产中如何处理倾斜的数据？我们使用"spark-submit"提交了spark作业，并且在spark中观察到很少有任务花费很长的时间，这表明存在偏差。问题：(2)我们是否需要终止作业，然后在jar中包含倾斜的解决方案并重新提交作业？(3)能否通过直接从shell运行</e
浏览 0提问于2018-06-25得票数 3
我有一个用scala写的spark作业。我使用来运行作业。我需要向作业传递一个命令行参数。我通过一个linux任务调用该脚本，我这样做了并使用环境变量选项通过以下方式访问值：有没有</
浏览 1提问于2015-04-29得票数 18
回答已采纳
我使用SUN的SGE将我的工作提交到一个集群系统中。问题是如何让计算机器找到主机中的环境变量，或者如何配置qsub脚本使计算机器加载主机中的环境变量？
浏览 15提问于2013-10-22得票数 2
回答已采纳
1回答
我在纱线模式下运行spark作业。我使用spark-submit在Unix shell脚本中运行作业。我想在日志文件中保留Unix文件夹上的spark-submit命令日志。2G --jars $spark_jars --class $spark_class $main_jar |& tee -a ${log_file}
使用tee命令。然后我检查上面<
浏览 0提问于2019-07-02得票数 1
1回答
我们正在一个EC2实例上构建一个airflow服务器，该服务器与EMR集群通信以运行spark作业。我们正在尝试提交一个BashOperator DAG，它为一个简单的字数统计应用程序运行spark-submit命令。下面是我们的spark提交命令：
.HADOOP_CONF_DIR或YARN_CONF_DIR。/etc/hadoop/
浏览 0提问于2019-07-19得票数 0
如果我启动pyspark，然后运行以下命令：Command: /usr/local/spark/bin/spark-submit my_s
浏览 0提问于2014-11-04得票数 20
我正在运行在RDD spark操作中使用管道的代码： 下面是我尝试过的代码片段： //PIPE - run a external shell script in spark
val y = x.pipe("grep -i A")
println(x.
浏览 21提问于2019-12-31得票数 0
回答已采纳
1回答
有没有办法获得Hadoop集群中不同用户执行的Spark SQL查询的列表？例如，有没有Spark应用程序以字符串格式存储查询的日志文件？
浏览 8提问于2018-08-21得票数 0
回答已采纳
5回答
我刚刚开始使用Spark。我已经在CDH5上安装了火花。./ spark -shell启动spark上下文。它会给出错误No such File or Directory
浏览 0提问于2015-11-16得票数 10
1回答
有这样的场景，在步骤1中，InvokeTakaraJar(参数..)被调用，它执行使用记录更新表的工作，但这是一个普通的Java jar而不是Spark代码 在步骤2中，存在var df =GetDBTable(参数..)它应该从上述步骤中更新的表中获取记录。问题是，由于第一步只是调用外部Java jar的main方法，它是从驱动程序运行的 并且第二步骤不等待步骤1的完成。 理想情况下，第二步需要等待第一步完成。如何在Spar
浏览 34提问于2021-10-13得票数 0
我正在尝试提交一个shell脚本的Spark作业。scala.MatchError: rma (of class java.lang.String这是我的Shell脚本的
浏览 1提问于2017-11-30得票数 2
我试着在Ubuntu16.04上测试“作业”命令。我的系统上似乎没有“作业”命令。我做了我学到的“哪里有工作”、“什么工作”、“哪些工作”，但是Ubuntu分别回答了“就业：”、“就业:不合适”、"“。我也尝试过"sudo apt-获取安装作业“。不成功。我应该怎么做才能使作业命令在我的Ubuntu16.04系统上工作。感谢您的阅读。
浏览 0提问于2017-12-06得票数 2
我已经在我的本地机器上克隆了spark项目，并使用以下命令构建了spark项目，构建成功。mvn -DskipTests clean package 我在IntelliJ idea中将spark项目作为maven项目导入。我在项目中将Scala 2.12.10设置为全局库 但是，当我尝试运行examples模块中的任何示例程序时，我得到了下面的错误。我猜这与Scala编译有关，请帮助我了解这里发生了什么？org.apache.spark.example
浏览 184提问于2020-03-22得票数 2
我正在使用Livy/Spark，我对如何使用其中的一些感到有点困惑。在livy examples文件夹中有一个上传到spark的构建作业的示例。有没有一种方法可以上传livyjob到spark，然后让它在整个spark中持久存在？将这些工作/应用程序放在spark中会不会更好？
老实说，我正在试图弄清楚最好的方法是什么。我希望能够通过s
浏览 2提问于2018-05-12得票数 1
3回答
我在spark shell中执行一些spark(scala) sql代码。我想知道我正在使用哪个队列，如果可能的话，我想知道我正在使用多少内存和执行器，以及如何优化它？
浏览 22提问于2018-12-29得票数 5
回答已采纳
spark2-submit和spark submit有什么不同？我需要从spark 1.6 to spark 2.4迁移我的代码，我是否仍然可以使用spark-submit来启动我的应用程序，或者必须迁移到spark2-submit。
浏览 65提问于2019-01-17得票数 0
回答已采纳
是否有一个命令可以列出集群上运行的所有spark作业？我刚接触这项技术，我们有多个用户在aws集群上运行spark-submit作业。有没有办法列出所有正在运行的spark作业？谢谢!
浏览 14提问于2016-08-26得票数 0
我有很多php脚本，我想作为cronjob来执行。重要的是，这些脚本以正确的顺序执行，并且不能同时运行。如何设置相互运行的cronjob？
浏览 0提问于2014-09-28得票数 4
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号