我正在尝试使用crontab通过spark-submit安排一个spark作业。基本上这个作业应该每天晚上运行，当作业即将提交给后续时间时，现有的应用程序应该被杀死，我很难找到一种方法来做到这一点。因为我找不到提交的作业的应用程序Id或驱动程序Id，所以我可以正常关闭。
我知道Spark Master Web UI可以用来查找提交Id，但如果我要为此设置一个cro
浏览 7提问于2019-08-19得票数 0
回答已采纳
假设我有一个在客户端模式下运行的spark驱动程序。如果我命令'kill -9 xxx‘，而xxx是驱动程序的进程号，会发生什么？是否会收集分配给驱动程序的执行器和工作程序。如果这样做了，又是如何做到的？
浏览 16提问于2018-08-13得票数 0
1回答
当使用jdbc驱动程序连接到例如甲骨文时，什么是真正执行的?spark://myip:7077 spark-shell --master spark://myip:7077 spark.driver.extraClassPath=C:/jdbcDrivers/ojdbc8.jar
现在，我可以在星星之体中运行针对
浏览 1提问于2017-07-14得票数 1
回答已采纳
2回答
我设置了一个spark集群，使用cassandra作为独立模式下的数据集群。另一方面，我使用IntelliJ的思想来编写驱动程序代码，这些代码将被发送到spark集群，由workers执行。我想知道的是，是否可以将intellij (在我的本地机器中)中的代码执行到远程集群中，或者我必须创建一个.jar文件并使用sopark-submit?将其部署到工作进程。我只是在寻找确认，因为我在进行所有设置时
浏览 7提问于2017-08-02得票数 2
回答已采纳
允许通过REST，提交作业。也有同样的，但使用的是Java而不是curl。1)通过SparkSession从我的主要应用程序提交的作业： new SparkConf()2)通过REST从我的主要应用程序提交的作业：
浏览 1提问于2017-05-17得票数 0
回答已采纳
在Spark <1.3.x中，驱动程序的系统属性可以通过--conf选项来设置，在设置火花属性和系统属性之间共享：在Spark1.4.0中，此功能将被删除，驱动程序将记录以下警告：如何在
浏览 3提问于2015-06-12得票数 3
回答已采纳
当使用spark-submit向Yarn提交Spark应用程序时，我可以通过--driver-java-options将java选项传递给驱动程序，例如：
spark-submit --driver-java-options如何在通过提交时实现相同的目标？特别是，是否有一种方法来实现它与火花1.4？
浏览 4提问于2015-11-18得票数 2
回答已采纳
3回答
从Spark 2.4.0开始，可以在没有外部jars的情况下保存为AVRO。然而，我根本不能让它工作。我的代码如下所示：df.write.mode('overwrite').format("avro").save(key)pyspark.sql.utils.AnalysisExceptionAvro is built-in but external data source modu
浏览 10提问于2018-11-27得票数 1
我使用AWS批处理服务上的r4.8xlarge来运行Spark。这已经是一台大机器，32 vCPU，244 GB。在AWS批处理服务中，进程在Docker容器中运行。1.8.0_151-8u151-b12-1~deb9u1-b12)该系统是构建作为一个独立的应用程序的本地包(s"local[$Cores]")
.config(&quo
浏览 1提问于2018-03-28得票数 1
3回答
我是阿帕奇·斯派克的新手。我尝试过使用apache独立模式。我可以通过在客户机上提交具有部署模式的jar来运行我的代码。但是我不能运行多节点集群。我曾经用过工人节点是不同的机器。sh spark-submit --class Spark.LogAnalyzer.App --deploy-mode cluster --master spark://rishon.server21:$$anon$1.run(Driver
浏览 3提问于2015-10-20得票数 0
我们正在spark集群上工作，即使在spark "Master“进程被杀死后，spark作业(S)也能成功提交。spark-1.6.1-bin-without-hadoop/bin/spark-submit --class com.test.test --master yarn-client --部署模式客户端在此之后，我们还可以在RM Web UI中看到该作业
浏览 27提问于2017-01-30得票数 1
现在我想在k8s集群上部署一个spark作业，我想知道是否需要在所有的worker机器上安装和配置spark。
浏览 3提问于2020-01-29得票数 0
2回答
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我成功地使用spark-submit从驱动程序节点执行了一个简单的pyspark应用程序。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/co
浏览 0提问于2020-01-27得票数 0
我知道工作节点是如何容错的，但是如果你的驱动程序因为一些意外的原因崩溃了，会发生什么？(电源关闭/内存问题等)。我想你会失去所有的工作，因为读取结果的代码不再运行，或者Spark不知何故知道如何重新启动它？如果是这样的话，是怎么做的？
浏览 0提问于2014-10-29得票数 10
我想通过以下方法检索在mesos主服务器上以集群模式运行的spark作业的状态：Except
浏览 0提问于2018-10-03得票数 2
回答已采纳
然后打开主机1(这是集群的namenode )终端&运行spark命令，如因此，实际上只有一个节点正在执行程序(主机2)。为什么？有没有办法让我的驱动程序也
浏览 2提问于2016-12-28得票数 0
回答已采纳
1回答
在边缘节点上提交火花
、、、
我正在通过我的边缘节点提交我的火花提交命令。为此，我使用客户端模式，现在我正在通过我的笔记本电脑访问我的边缘节点(与我的集群位于同一网络上)。我知道驱动程序运行在我的边缘节点上，我想知道的是，为什么当我关闭边缘节点的ssh会话时，我的火花作业会自动挂起？通过VPN/无线互联网开放边缘节点连接对网络内部使用以太网电缆的火
浏览 4提问于2017-03-11得票数 3
回答已采纳
我们有一个基于Spark standalone的程序，在这个程序中，我们使用SparkContext和SqlContext来进行大量的查询。
现在，我们希望将系统部署在运行在Yarn上的Spark上。但是当我们将spark.master修改为yarn-cluster时，应用程序抛出一个异常，说明这只适用于spark-submit类型。有没有解决这个问题的好方法？我们可以从yarn.Client获取SparkContext吗?或者我们应
浏览 0提问于2015-08-18得票数 4
我创建了配置为包含jdbc文件的spark_session，但无法解决问题。创建会话的当前代码如下所示。，我已经尝试了我知道的每一种配置(检查权限，更改hdfs或本地目录，添加或删除配置.)然后，加载数据的代码是。sql = "SOME_SQL_TO_RETRIEVE_DATA"
.org.mari
浏览 25提问于2021-12-30得票数 -1
斯帕克有在使用EMR web界面创建新集群时，可以添加一个自定义步骤，在集群启动时执行Spark应用程序，基本上是在集群启动后自动执行spark-submit。我一直在想，在启动EMR集群并通过指定的EMR步骤提交jar文件时，如何在应用程序中指定SparkConf的主节点？事先不可能知道集群主机的IP，如果我手动启动集群，然后在调用sp
浏览 1提问于2016-12-09得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
