如何共享全局spark会话？
共享全局Spark会话可以通过以下几种方式实现：
- Spark on YARN：YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理器，可以用于管理Spark集群。在YARN上运行的Spark应用程序可以共享全局Spark会话。通过在Spark应用程序中设置
spark.yarn.submit.waitAppCompletion参数为true，可以在应用程序完成后保持Spark会话的开放状态，以便其他应用程序可以共享该会话。 - Spark on Mesos：Mesos是一个开源的集群管理器，可以用于管理Spark集群。在Mesos上运行的Spark应用程序可以共享全局Spark会话。通过在Spark应用程序中设置
spark.mesos.coarse参数为true，可以在应用程序完成后保持Spark会话的开放状态，以便其他应用程序可以共享该会话。 - Spark Standalone集群：Spark Standalone是Spark自带的集群管理器，可以用于管理Spark集群。在Spark Standalone集群上运行的Spark应用程序可以共享全局Spark会话。通过在Spark应用程序中设置
spark.driver.allowMultipleContexts参数为true，可以允许多个应用程序共享同一个Spark会话。 - Spark on Kubernetes：Kubernetes是一个开源的容器编排平台，可以用于管理Spark集群。在Kubernetes上运行的Spark应用程序可以共享全局Spark会话。通过在Spark应用程序中设置
spark.kubernetes.driver.pod.name参数为相同的值，可以使多个应用程序共享同一个Spark会话。
总结起来，共享全局Spark会话可以通过使用不同的集群管理器（如YARN、Mesos、Spark Standalone、Kubernetes）来管理Spark集群，并通过相应的配置参数来实现。这样可以使多个应用程序共享同一个Spark会话，从而提高资源利用率和计算效率。
腾讯云相关产品和产品介绍链接地址：
相关·内容
但是"join“和"sort”调用不同的"spark sessions“。因此，流程类似于，使用spark submit为join创建一个spark会话，将输出保存在hdfs中，并关闭当前spark会话。对于排序，使用spark创建另一个会话，并通过join任务获取存储在hdfs中的输出以进行排序。
但问题是，从hdfs获取数据会产生开销。那么有没有办法在两个spark-submit之间为不同的任务<em
浏览 30提问于2019-07-19得票数 1
2回答
尝试了解如何使用Spark全局临时视图。在一次spark-shell会话中，我创建了一个视图spark.read.option.csv("/user/root/data/cars.csv"))
df.createGlobalTe
浏览 0提问于2018-03-05得票数 3
回答已采纳
createTempview与createGlobaltempview和CreateorReplaceTempview在火花2.1中有什么区别?？
浏览 2提问于2017-04-27得票数 3
回答已采纳
1回答
我想把这些记录插入到一些可诱惑的(全局的？)一旦我收到卡克法的消息就继续插入。 } else { .builder()
.appName("Spark
浏览 0提问于2018-05-03得票数 0
回答已采纳
我试图使用以下语句将DataFrame注册为全局临时视图：它没有识别createGlobalTempView上的DataFrame对象它显示了错误：
我漏掉了图书馆的进口品吗？
浏览 6提问于2016-12-15得票数 2
我有一个火花外壳，它调用pyscript并创建了一个全局临时视图。Spark SQL Parllel load example") \.config("spark.dynamicAllocation.enabled("Spark SQL Parllel load example&quo
浏览 0提问于2018-12-18得票数 3
回答已采纳
Spark 2.0提供了两个功能：createOrReplaceTempView和createGlobalTempView。我无法理解这两种功能之间的基本区别。
浏览 4提问于2017-03-13得票数 31
回答已采纳
我有一个关于在一个JVM中创建多个星火会话的查询。我已经读过，在早期版本的Spark中，不建议创建多个上下文。Spark2.0中的SparkSession也是这样吗？我正在考虑从UI中调用一个web服务或servlet，然后该服务创建一个火花会话，执行一些操作并返回结果。这将导致为来自客户端的每个请求创建火花会话。推荐这样做吗？假设我有一种方法，比如： SparkSession spark = SparkSession
浏览 11提问于2016-10-20得票数 20
回答已采纳
1回答
我在python中创建了一个UDF，用于计算表中两个日期列之间的日期数组，并将其注册到spark会话中。我在管道中使用这个UDF来计算一个新列。现在，当我将这个流水线保存到HDFS，并希望它被读回以便在不同的程序中执行(使用不同的spark会话)时，UDF是不可用的，因为它没有在任何地方全局注册。由于该进程是通用的，并且需要运行多个管道，因此我不想添加UDF定义并将其注册到spark会话中。
有没有办法让我在所有spark会话中<em
浏览 1提问于2018-02-12得票数 0
1回答
我见过许多关于如何将会话变量设置为敲除的问题，但没有一个问题解释如何从knockout vm中设置会话变量。我的设置：改变-Dropdown的this.gridSize-Some设置会话“GridSize”= this.gr
浏览 3提问于2013-09-05得票数 1
回答已采纳
Spark Context和Spark Session在后台发生。 默认情况下，它们是否共享相同的Spark会话？
浏览 29提问于2021-11-15得票数 1
回答已采纳
1回答
在一个kie会话中，在2个DRL文件之间共享变量的最佳方法是什么？
我知道全局变量对我来说不是一个选项，因为一旦全局变量的值被赋值，它也会与其他kie会话共享。
浏览 0提问于2018-06-13得票数 0
SparkContext Class中getOrCreate()方法的用途是什么，如何使用？为此，我没有找到任何合适的示例(编码方面)。我所理解的是，使用上面的方法，我可以在应用程序之间共享spark上下文。我们这里所说的应用程序是什么意思？应用程序是提交给spark集群的不同作业吗？如果是这样，那么我们应该能够使用在一个应用程序中注册的全局变量(广播)和临时表到另一个应用程序中？
请任何人可以详细说明和提供适当的例子这一点。
浏览 4提问于2017-06-06得票数 2
是否有任何方法每次在新会话中执行一组sql？(我知道存在SparkSession.newSession，但我也不能停止该会话，因为底层共享SparkContext将停止，对吗？)
浏览 2提问于2018-04-03得票数 2
2回答
我不明白火花会话/上下文生命周期是如何工作的。文档说，您可以有多个共享基础SparkSession的SparkContext。但这些东西是如何/何时被创造和摧毁的呢？例如，如果我有一个生产集群，并且我spark-submit 10个ETL，这10个作业会共享相同的SparkContext吗？如果我在集群/客户端模式下这样做重要吗？据我所知，SparkContext存在于驱动程序中，因此我假设上述结果将导致10 SparkSession共享一
浏览 3提问于2019-08-13得票数 3
回答已采纳
我们需要在多个会话之间共享RDDs。我看到了使用Java访问Ignite RDD/访问Spark数据集的Ignite SQL的选项。任何人尝试使用IgniteRDD/IgniteSQL使用Scala访问Spark数据集。
浏览 0提问于2016-10-19得票数 1
val spark = SparkSession .appName("Spark Hive Example") .enableHiveSupport()当我使用spark-shell执行spark-sql从Hive查询表时，spark</e
浏览 1提问于2017-11-10得票数 1
我正在本地模式下在一个ec2实例上运行Spark3.0。今天，我希望能够在并行中运行多个python脚本，以便提供对我使用的spark会话的访问- .config") \
.config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.cat
浏览 2提问于2020-09-19得票数 0
回答已采纳
1回答
火花2.3下降温度表
、、、
较新的Session不需要sqlContext，因此，它使我对如何使用该函数感到困惑。DF.dropTempTable('xyz')spark.dropTempTable('xyz')spark.catalog.dropTempTable('xyz&#x
浏览 2提问于2018-05-26得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
