我正在构建一个用于触发spark- job和检查作业状态的接口。
我不能使用像Livy，spark job server这样的第三方库。我想通过REST API创建启动和提交作业到spark集群的API。
浏览 19提问于2019-10-21得票数 0
回答已采纳
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？如果是，那么我什么时候需要提供<em
浏览 3提问于2016-09-13得票数 2
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情
浏览 0提问于2015-06-16得票数 0
我是新手，需要知道如何将我的EC2作业提交到亚马逊EC2 Spark集群。就像在azure中一样，我们可以通过带有azure插件的IntelliJ idea直接提交作业。
浏览 1提问于2017-05-16得票数 0
1回答
我试图使用纱线REST提交火花提交作业，我通常通过命令行运行这些作业。我的命令行星火提交如下所示
JAVA_HOME=/usr/local/java7/ HADOOP_CONF_DIR=/etc/hadoop/conf /usr/local/spark-1.5/bin/sp
浏览 5提问于2016-01-12得票数 5
3回答
我正在尝试提交火花作业通过livy使用rest api。但是如果我多次运行同一个脚本，它会运行多个具有不同作业ID的作业实例。我正在寻找一种方法，可以在启动新作业之前杀死运行相同名称的spark/yarn作业。Livy document说()删除批处理作业，但是livy session不返回应用程序名称，只返回应用程序
浏览 2提问于2017-06-28得票数 3
目前，我正在通过LIVY发布/提交火花作业到Azure HDInsight集群。作业完成后，我正在查看Spark的纱线日志。
每个火花作业的Livy日志不提供纱线日志。我们可以从Azure HDInsight中以编程方式获取Spark日志吗？我们在Azure中是否有REST调用或自定义工具来获取Yarn日志？
浏览 2提问于2020-12-08得票数 1
回答已采纳
我希望实时获取Apache作业状态或应用程序状态，并将状态推送到前端web进行演示(web将向用户显示此状态)。除了通过查看星星之火的RESTFUL获取json中的信息之外，我还如何做到这一点？
浏览 0提问于2019-09-12得票数 0
回答已采纳
1回答
我知道下面是星体集群所需的守护进程。主控
如果对上述问题的回答是否定的。当我们试图在现有纱线上设置spark时，是否需要在提交spark应用程序之前启动任何持久守护进程？一旦驱动程序完成其执行，Sp
浏览 2提问于2016-02-01得票数 2
回答已采纳
我们需要安排spark作业，因为我们熟悉apache-airflow，所以我们想继续使用它来创建不同的工作流。我在网上搜索，但没有找到一步一步的指南，以安排spark作业的airflow和选项，以运行它们在不同的服务器运行主机。
对此问题的回答将受到高度赞赏。提前谢谢。
浏览 4提问于2018-11-17得票数 8
回答已采纳
我已经可以从Eclipse提交local火花作业(用Scala编写)。但是，我想修改我的Spark上下文(在我的应用程序中)，以便当我‘运行’应用程序(在Eclipse中)时，作业将被使用Yarn作为资源管理器发送到我的远程集群。使用spark-submit，我可以成功地将作业以：spark-submit --
浏览 2提问于2016-01-27得票数 6
我想调用java中的星火jar (在纱线上运行spark进程)，并尝试使用这个代码。
它看起来适合我的情况，但我需要将hashmap和一些java值传递给spakr。java端是否能够知道如何解决火花jar过程，或者它是否已经完成？如果是，怎么做？
浏览 0提问于2016-12-13得票数 2
回答已采纳
有没有办法通过Powershell在HDInsight上提交Spark作业？我知道这可以通过Azure Data Factory中的活动来完成，但是有没有办法将python脚本从Powershell cmdlet提交到pyspark HDInsight？
浏览 3提问于2017-06-22得票数 0
要检查Apache spark中正在运行的应用程序，可以从URL上的web界面进行检查：我的问题是，我们如何从终端检查正在运行的应用程序，有什么命令可以返回应用程序的状态吗
浏览 0提问于2016-05-25得票数 32
2回答
在失败或中止时重新运行星火作业
、、、、
我期待的配置或参数，自动重新启动的火花作业，以防任何故障提交通过亚恩。我知道任务在失败时自动重新启动。我正期待着一个纱或火花配置，将触发重新运行整个工作。现在，如果我们的任何作业因任何问题而中止，我们必须手动重新启动它，这会导致长数据队列处理，因为这些任务几乎是实时工作的。#!/bin/spark-submit --master yarn --deploy-mode cluster \
--name br1_wa
浏览 0提问于2017-10-29得票数 9
1回答
我想知道YARN CLI是否提供了使用上一次执行生成的APPLICATION_ID重新提交YARN申请的可能性。示例：
/opt/mapr/spark/spark-2.1.0/bin/spark-submit --num-executors 5 --executor-memory 2G --executor-coresJSONDenormJob-0.0.1-SNAPSHOT-jar-with-
浏览 2提问于2018-05-31得票数 2
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc&#x
浏览 41提问于2020-07-01得票数 0
我是spark的新手。我想从本地向远程EMR集群提交一个spark作业。我将通过此处的链接设置所有先决条件：spark-submit --class mymain --deploy-mode client --master yarn myjar.jar
问题:从aws文档中，我们了解到，通过将主服务器与yarn一起提供，yarn使用我</em
浏览 1提问于2019-06-26得票数 0
1回答
我有四个python文件，在四个文件中，有一个文件定义了火花条目代码，该文件驱动和调用rest其他python文件。虽然我尝试搜索一点，但我知道我可以创建zip文件，比方说myfile.zip，并将所有四个python文件打包到这个zip文件中，然后使用-py- file myfile.zip提交火花作业。如果我需要添加sc.addfile()，那么在本例中，我不希望为程序提供任何路径，这也是我<e
浏览 1提问于2020-10-01得票数 2
1回答
我有两个clodera hadoop集群(prod和dev)和一台客户机。此客户端计算机配置为prod群集的网关节点。由此，我可以使用以下命令将spark作业提交到我的prod集群现在，我想从这台客户机向我的dev集群提交相同的作业。我试着用
spark-submit --mast
浏览 1提问于2016-11-17得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
