在Spark中是否可以在同一个SparkSession上运行并发作业？

文章/答案/技术大牛

发布

1回答

scala、apache-spark

我是一个业余的Spark用户和Scala。虽然我找了很多次，但还是找不到答案。是否可以在单个驱动程序中同时将不同的任务分配给不同的执行器？例如，假设我们有10个节点。

浏览 18提问于2019-12-03得票数 1

2回答

如何监视相同集群/数据库上的SparkContext上的不同火花作业？

apache-spark、monitoring、databricks、metrics、datadog

我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。问题是，由于不需要每天旋转、运行和杀死数百甚至数千个作业集群，所以最好将现有的集群重新用于类似的数据抽取工作。为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：在每个笔记本中更改SparkSession.bu

浏览 2提问于2021-11-23得票数 1

回答已采纳

1回答

将PySpark数据作为dataproc作业上载到bigquery

pyspark、google-bigquery、jar、google-cloud-dataproc、spark-bigquery-connector

我试图在Dataproc集群上提交一个PySpark作业。我的工作是将数据上传到bigquery。当我使用集群上的submit作业执行时，我会遇到一个错误，作业失败。但是，当我提供这个罐子时： "gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"，在提交作业中的jar文件参数<em

浏览 7提问于2022-04-06得票数 1

2回答

在Scheduler中运行Scala作业

scala、qubole

我的作业在我的笔记本上运行良好，但当我将脚本复制并粘贴到Spark Scala调度作业中时，我遇到了类似"script.scala:15: error: not found: value sqlContext我需要做什么才能让我的Scala代码按计划运行？

浏览 5提问于2020-01-08得票数 0

1回答

在星团和纱线上运行

hadoop、apache-spark、pyspark、apache-zeppelin

我已经在Apache中创建并运行了一个%pyspark程序，它运行在一个带有纱线客户端的星火集群上。我可以看到作业在纱线中运行(参见application_1480590511892_0007)：但是，当我同时检查Spark时，这个工作没有任何内容：问题1：这个作业不应该出现在这两个窗口中吗此外，上面SparkUI映像中已完成的应用程序是齐柏林

浏览 1提问于2016-12-01得票数 0

回答已采纳

1回答

如何在本地运行胶合作业？

scala、amazon-web-services、apache-spark、aws-glue

profile: org/apache/spark/log4j-defaults.properties at org.apache.spark.SparkContext(Utils.scala:1340) at org

浏览 0提问于2019-11-21得票数 0

2回答

跨多个Spark作业重用Spark会话

apache-spark、pyspark、apache-spark-sql

我有大约10个Spark作业，每个作业都会做一些转换并将数据加载到数据库中。Spark会话必须为每个作业单独打开并关闭，每次初始化都会耗费时间。是否可以只创建一次Spark会话，并在多个作业中重复使用该会话？

浏览 32提问于2019-04-15得票数 2

1回答

Spark-submit main类中的主url和SparkSession主url，有什么区别？

apache-spark

在使用spark-submit提交作业时，我设置了主URL，并为他提供了一个主类，例如：但是在这个主类中，我的spark上下文定义了另一个主url： SparkSession.builder().appName("Word2vec").master("lo

浏览 1提问于2016-08-08得票数 8

回答已采纳

3回答

如何使用Spark-submit命令获取提交给Spark集群的作业的应用Id/Job Id？

apache-spark

我正在使用spark-submit命令提交Apache Spark作业。我想检索使用spark-submit命令提交的作业的应用程序Id或Job Id。推荐的方式是什么？

浏览 0提问于2018-09-08得票数 4

3回答

spark createOrReplaceTempView对createGlobalTempView

apache-spark、apache-spark-dataset

Spark 2.0提供了两个功能：createOrReplaceTempView和createGlobalTempView。我无法理解这两种功能之间的基本区别。根据的说法：createGlobalTempView：这个临时视图的生存期被绑定到这个星火应用程序。比如sparkSession.close()？

浏览 4提问于2017-03-13得票数 31

回答已采纳

2回答

用java从SparkSession读取对象文件

java、apache-spark、rdd

：现在，在同一个程序中，我希望加载对象文件并使用SparkSession，以便从另一个文件创建DataFrame(); SparkExceptio

浏览 7提问于2017-02-06得票数 0

回答已采纳

1回答

使用spark从远程hdfs集群读取文件时出现文件结束异常

scala、apache-spark、hdfs

我正在尝试读取使用spark存储在hadoop集群中的csv文件。每次尝试访问它时，我都会收到以下错误:本地主机之间的文件结束异常我没有在本地设置hadoop，因为我已经可以访问hadoop集群。这是使用spark的代码。获取此错误:线程"main“java.io.EOFException中的异常:本地主机之间的文件结束异常为：

浏览 28提问于2019-08-27得票数 0

1回答

避免以编程方式使用创建的上下文启动HiveThriftServer2

hadoop、apache-spark、hive、apache-spark-sql、apache-spark-2.0

我们试图使用ThriftServer从spark 2.0.0中的spark临时表中查询数据。使用直线，我们可以看到临时表(运行显示表)；有任何方法可以让一个Thri

浏览 2提问于2016-09-27得票数 10

回答已采纳

4回答

为什么SparkContext随机关闭，以及如何从齐柏林飞艇重新启动它？

apache-spark、pyspark、apache-spark-sql、apache-zeppelin

我正在使用Zeppelin编写spark查询，有时我突然开始得到这个错误(在没有更改代码之后)： Cannot call methods on a stopped SparkContext.

浏览 5提问于2016-02-19得票数 22

回答已采纳

2回答

星火作业在java 9 NumberFormatException上输入字符串ea失败

java、scala、apache-spark、java-9

我有一个示例火花作业，我可以成功地在java 8上运行，但是当我在java 9上运行相同的程序时，它会在NumberFormatException上失败。<xyz path>");异常详细信息：线程"main“中的异常:用于输入字符串："ea”在java.base/java.la

浏览 2提问于2017-08-29得票数 4

回答已采纳

4回答

初始化SparkContext时出错:必须在您的配置中设置主URL

scala、apache-spark、k-means

我使用了Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 17/02/03 20:39:25 WARN NativeCodeLoader: UnableAs of Spark 1.6, ex

浏览 7提问于2017-02-04得票数 11

1回答

运行时中的Spark配置更改

apache-spark、configuration-files、runtime-configuration

因此，询问是否有人知道在运行时更改Spark属性(例如spark.executor.memory、spark.shuffle.spill.compress等)的方法，以便更改可以在作业期间的任务/阶段之间生效……1) Spark 2.0+的文档(以及之前的版本)指出，Spark上下文一旦创建，就不能在运行时进行更改。2) SparkSession.co

浏览 0提问于2016-10-01得票数 10

1回答

当使用Spark的REST提交时，驱动程序在哪里运行，以及如何访问SparkSession？

java、rest、apache-spark

允许通过REST，提交作业。也有同样的，但使用的是Java而不是curl。1)通过SparkSession从我的主要应用程序提交的作业： new SparkConf()因此，我需要将MySparkJob打包到单独的JAR中，并部署到每个工作人员。.appResource("file:/home/spark/my-spark-job.jar")

浏览 1提问于2017-05-17得票数 0

回答已采纳

2回答

有没有使用API提交spark作业的方法

apache-spark、pyspark、spark-streaming、distributed-computing、spark-submit

我可以使用控制台在linux服务器上提交spark作业。但是在linux服务器上有没有什么API或者框架可以用来提交spark作业呢？

浏览 0提问于2017-01-04得票数 0

5回答

SparkContext、JavaSparkContext、SQLContext和SparkSession之间的区别是什么？

java、scala、apache-spark、rdd、apache-spark-dataset

SparkContext, JavaSparkContext, SQLContext和SparkSession？是否有任何方法可以使用SparkSession？我是否可以使用单个条目完全替换所有上下文SparkSession？中的所有函数SQLContext，SparkContext，以及JavaSparkContext也在SparkSession？一些函数，比如parallelize在中有不同

浏览 216提问于2017-05-05得票数 39

回答已采纳

点击加载更多