我有几个用Scala编写的Spark大数据应用程序。这些应用程序的其他版本都是用R编写的。
我还有一个用Java编写的web服务器应用程序。这是作为web GUI的API提供的。为此，我将Spark程序作为本地存储库放在pom.xml中，以便将Scala代码包含在最终的.jar包中。我还提到了Scala和breeze库作为pom.xml中的依赖项
浏览 13提问于2018-01-04得票数 0
回答已采纳
我有一个ETL管道，我想重新提交工作后，它是完成。就像典型的cron作业，但只使用Spark‘。这有可能吗？
浏览 2提问于2016-10-07得票数 1
回答已采纳
在使用JAVA中的以下行发送已配置的火花启动程序时，是否有一种方法可以查看spark命令，该命令将提交给spark？SparkLauncher().launch();
编辑:在“createBuilder()”过程中，"SparkLauncher.class“中的”.launch“方法似乎有一个列表。现在的问题是找到从提交的<
浏览 2提问于2017-07-04得票数 1
我可以通过spark-submit提交一个spark作业，但是当我尝试使用SparkLauncher以编程方式提交同样的作业时，我什么也没有得到(我甚至在UI上都看不到Spark作业) 以下是场景：下面的spark-submit就像预期的那样工作，并且spark作业是以纱线集群模式提交的 spark-submit \
浏览 36提问于2019-03-22得票数 1
回答已采纳
我已经编写了一个部署在unix机器上的小类，我似乎不知道为什么会出现这个错误。我检查了我的SPARK_HOME并添加了所有必需的选项，如下面的类所示。我试图用这种方式来监视火花线程的运行。火花-提交工作完美，所以我知道设置的环境不是问题。package com.james.SparkLauncher2; import java.util.Hash
浏览 4提问于2017-07-25得票数 0
回答已采纳
如果我使用星星之交命令行将星火任务提交给纱线，我将能够使用--queue myqueuename设置队列。" \--output /data/output/path/ SparkAppHandle handle = new <em
浏览 4提问于2020-02-28得票数 1
回答已采纳
我使spark+hadoop纱线环境和火花提交命令工作得很好。因此，我在我的应用程序jar中编写了SparkLauncher java代码来实现这一点，但不知何故它不能工作(实际上，计算机风扇一开始在旋转，但没有我在spark-submit中做的时间长)。它似乎不能很好地工作(与spark-submit不同，hadoop web ui中没有应用程序日志)。当我使用'SparkLau
浏览 16提问于2017-03-14得票数 2
回答已采纳
1回答
我尝试在我的java应用程序中“运行”spark作业，搜索，我发现了以下两种方法：ClientsArguments和SparkLauncher。
有人能给我解释一下这两者之间的区别吗？启动和提交作业/应用程序Spark之间的区别？谢谢。
浏览 0提问于2016-08-29得票数 0
我的应用程序需要使用spark计算一系列值，我正在尝试让它成为元数据驱动。{ logic : "scala script" ...我有一个类似于上面的json，它将与"app.jar“一起提交给火花在spark作业的main()中，我希望加载这个json并执行spark中的"logic“脚本，并获
浏览 0提问于2018-03-15得票数 0
当使用spark-submit向Yarn提交Spark应用程序时，我可以通过--driver-java-options将java选项传递给驱动程序，例如：
spark-submit --driver-java-options如何在通过提交时实现相同的目标？特别是，是否有一种方法来实现它与火花1.4？
浏览 4提问于2015-11-18得票数 2
回答已采纳
很多人都问过这个问题，但除了链接和参考之外，没有明确的答案，而且大多数都不是最近的。问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然
浏览 3提问于2016-09-13得票数 2
我正在尝试使用SparkLauncher运行一个火花作业。我的火花应用程序jar不是一个胖jar，它依赖于许多其他第三方jar，在SparkLauncher中有指定依赖jar的方法吗？
浏览 0提问于2016-10-21得票数 1
回答已采纳
正在尝试使用masterURL=yarn-client运行spark作业。使用SparkLauncher 2.10。java代码被包装在nifi处理器中。Nifi当前以root用户身份运行。当我做yarn应用程序-list时，我看到从USER = root开始的spark作业。我想用USER = hive来运行它。以下是我的SparkLauncher代码。Process spark = new SparkLauncher</e
浏览 13提问于2017-06-19得票数 0
回答已采纳
我正在尝试使用InProcessLauncher从Java Spring应用程序提交集群模式的spark 2应用程序。我之前使用的是SparkLauncher类，这个类很有效，但是它为每个作业启动了一个长时间的SparkSubmit java进程，这消耗了太多的资源和大量的作业。我的代码设置了sparkLauncher.setMaster("yarn")和<em
浏览 29提问于2021-05-08得票数 0
(Unknown Source) .setMainClass("com.wwa.spark.poc.Sim
浏览 2提问于2016-05-13得票数 0
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streaming吗？谢谢!
浏览 0提问于2015-06-16得票数 0
3回答
我正在尝试从Java代码向纱线集群提交一个带有Spark作业的JAR。我使用SparkLauncher提交SparkPi示例： .setAppResource("C:\\spark-1.4.1Exit code:" + exitCode);
在以“纱线-集群”模式提交时，应用程序成功地提交</
浏览 1提问于2015-07-31得票数 17
回答已采纳
我将提交pyspark任务，并提交与该任务的环境。 我需要--归档提交的压缩包包含完整的环境。工作spark提交命令如下所示 /my/spark/home/spark-submit--deploy-mode cluster
--driver-memory 10G-py3-none-any.whl my_task.py 我正在尝试使用Sp
浏览 26提问于2021-07-08得票数 1
我是比较新的火花和DSE，我试图提交一个火花作业到DSE星火集群编程？ .setAppResource("spark-jo
浏览 0提问于2017-02-03得票数 2
是否有可能在代码中执行下面的星火提交脚本，然后获得按纱线分配的应用程序ID？我发现，
Process spark = new SparkLauncher.setM
浏览 4提问于2015-12-21得票数 3
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号