1回答
REST API与Spark交互
、、、、
我正在尝试将我的Spark上下文与REST API连接起来。所以我的流程是这样的，我将请求从我的UI- nodejs发送到REST API，它需要与包含所需响应的spark上下文( Spark job在hive表上工作)进行交互，并将其发送回UI进行显示。UI <->REST API<-> Spark (HDFS)
浏览 14提问于2017-12-27得票数 2
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？如果是，那么我什么时候需要提供REST API的作业服务器来提交作业？
浏览 3提问于2016-09-13得票数 2
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streaming吗？谢谢!
浏览 0提问于2015-06-16得票数 0
我想了解是否可以使用连接到Amazon EMR中实现的Spark master节点的flask应用程序。目标是从web应用程序调用Flask来检索spark输出。
浏览 17提问于2020-07-06得票数 0
回答已采纳
我想在python代码的帮助下，使用API从databricks外部访问DBFS数据。我如何才能做到这一点？
浏览 0提问于2020-07-02得票数 0
我们正在尝试从spark 1.6迁移到spark 2.1。我尝试在本地配置spark master和worker，发现spark REST api与之前不同。在spark 1.6中，当我开始使用master时，我使用以下url来获取所有应用程序的响应
现在，在spark 2.1中，我尝试了同样的方法，但并不像预期的那样。
浏览 3提问于2017-06-24得票数 2
我知道Apache Livy是用于从任何地方与spark进行交互的rest接口。那么，使用Apache Livy而不是spark-jobserver有什么好处呢？使用Livy作为替代的spark-jobserver的缺点是什么？我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。
谢谢,
浏览 4提问于2018-02-19得票数 18
1回答
我有一个服务器，其中我有一个REST API，以及一个与该API交互的前端。如果前端和REST API在不同的域上，有没有一种方法可以让它们交互？当与<em
浏览 0提问于2011-12-14得票数 0
在此之前，我可以完全在spark.sql api中工作，以便与蜂巢表和火花数据帧进行交互。我可以查询使用同一个api注册的spark或hive表中的视图。要对蜂窝表执行任何操作，必须使用“HiveWarehouseSession”api，而不是spark.sql api。是否有任何方法继续使用spark.sql api并与hive交互，或者我必须重构我的所有代码？Hadoop文档继
浏览 0提问于2019-08-29得票数 1
嗨，我开始学习snappy-data文档0.7版的目的是为了连接到REST调用来访问snappy-data数据库，我不知道如何使用REST服务与snappy-data你能告诉我怎么做吗，我搜索了snappy
浏览 0提问于2017-03-04得票数 2
1回答
我有大量数据存储在Postres数据库中，我需要使用Django通过REST API将数据发送到客户端。要求是以块的形式发送数据，而不是一次性将整个内容加载到内存中。我听说过Kafka和Spark的流媒体应用程序，但我检查过的这两个教程往往涉及流媒体实时数据，如与Twitter数据交互等。但是，使用这两个应用程序中的任何一个可以从数据库中流式传输数据吗？如果是，那么我如何将其与REST集成，以便客户端可以与其交互？任何线索都将不胜感激。谢谢。
浏览 25提问于2019-06-16得票数 0
2)在阅读了titan文档后，我仍然不知道如何使用java api或rest api与titan服务器通信?3)由于Titan 1.0引入了与Spark的接口，所以我根本不知道如何...期待我应该通读的答案或其他材料，谢谢！
浏览 6提问于2016-05-04得票数 0
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。
浏览 1提问于2020-09-01得票数 1
1回答
我试图使用纱线REST提交火花提交作业，我通常通过命令行运行这些作业。我的命令行星火提交如下所示
JAVA_HOME=/usr/local/java7/ HADOOP_CONF_DIR=/etc/hadoop/conf /usr/local/spark-1.5/bin/spark-submit=/usr/local/hadoop/client/hadoop-*"
浏览 5提问于2016-01-12得票数 5
我正在尝试比较spark sql和hive上下文，我可以知道有什么不同吗? hivecontext sql使用hive查询，而spark sql使用spark查询吗？=conf).getOrCreate()sqlContext.sql ('select * from table')spark.sql
浏览 11提问于2018-08-21得票数 0
2回答
在纱线集群模式下部署Spark时，如何下发Spark监控REST API调用？YARN有没有一个API可以接受REST调用的例子(我已经知道app-id了)
，将其代理到正确的驱动程序端口，并将JSON返回给我？我指的是我的委托人。假设(或者已经设计好了)由于安全原因，我不能直接与驱动程序机器对话。
浏览 2提问于2016-10-01得票数 3
一个是Rest，另一个是Spring boot web MVC应用程序，它消耗剩下的部分。其余的配置了spring安全，我想从客户端应用程序登录/注销。客户端应用程序只有视图和控制器来与rest api交互。
我现在正在使用rest模板与api进行交互。
浏览 1提问于2019-12-19得票数 0
2回答
与\\false\\ = \false\相同data "template_file" "master_spark_defaultsrest_port = "${var.spark_master_
浏览 1提问于2019-01-04得票数 1
回答已采纳
我想使用Amazon Web Services，但我还没有找到从我的(:core)项目中访问API Gateway的库或方法。我在安卓和iOS原生项目中使用过API Gateway，很容易实现它，因为亚马逊为这两个平台提供了SDK Generation。但是由于没有一种方法可以导出Java，所以从核心项目调用api似乎有点棘手。
我尝试使用amazon skd for android inside (:core)，但不起作用。
浏览 11提问于2016-09-20得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
