run_cmd="spark-submit \
$SPARK_OPTIONS \
--conf spark.hadoop.fs.default.name=file:/// \
--conf spark.hadoop.fs.defaultFS=file:/// \
--py-files \
${TARGET}/test.zip \
$TEST_PY \
$RAW_DATA_FILE \
$OUTPUT \
--route $AGG_OUTPUT1 \
--origin $AGG_OUTPUT2 \
--first $AGG_OUTPUT3" #line 71
echo $run
浏览 29提问于2017-07-01得票数 1
回答已采纳
我的火花应用程序由于"FileSystem关闭“异常而失败。一个典型的堆栈跟踪附在最后。我做了一些研究，这表明执行者被关闭(参见)。
这可能是由于大洗牌或内存不足的异常，但我找不到在纱线日志中的任何一个。
我的问题是：
如果发生了这些异常，如果不是在纱线原木中，我会在哪里找到它们？
如果这些例外情况从未发生，除了调查纱线日志之外，我还应该做什么？
谢谢!
下面是一段纱线日志：
2017-08-21 01:55:10,668 ERROR org.apache.spark.scheduler.LiveListenerBus: Listener EventLoggingLi
浏览 5提问于2017-08-21得票数 0
1回答
在从mapr目录读取文件时，我会得到以下异常：
java.lang.NullPointerException
at com.mapr.fs.MapRFsInStream.read(MapRFsInStream.java:150)
at java.io.DataInputStream.read(DataInputStream.java:83)
at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:205)
at org.apache.hadoop.util.LineReader.readLine(LineRead
浏览 2提问于2014-11-16得票数 0
回答已采纳
我试过三种方法杀死它，但没有成功。
在kill上单击MasterWebUI链接，有时主程序和作品的进程被击落。
星星之火--主星星之火://xx:7077-杀死应用程序-20160920095657-0000，主url是正确的，但抛出异常Exception in thread "main" org.apache.spark.deploy.rest.SubmitRestConnectionException: Unable to connect to server at org.apache.spark.deploy.rest.RestSubmissionClient$$
浏览 0提问于2016-09-20得票数 0
我有一个火花-1.5.1的Hadoop2.6运行在我的本地机器上的独立模式。我正在尝试从一个示例java应用程序中运行一个hive查询，将spark.master指向在我的本地计算机上运行的火花主程序( spark ://Dynamic-i0248u:7077)。下面是一段java代码：
SparkConf sparkconf = new SparkConf().set("spark.master", "spark://impetus-i0248u:7077").set("spark.app.name", "sparkhivesqlte
浏览 2提问于2015-12-10得票数 1
1回答
我使用pydeequ和Spark3.0.1对数据执行一些约束检查。
在使用VerificationSuite进行测试时，调用VerificationResult.checkResultsAsDataFrame(spark, result)后，由pydeequ启动的回调服务器似乎不会自动终止。
例如，如果我在EMR集群上运行包含pydeequ的代码，那么除非我显式地使用spark会话创建JavaGateway并调用close()方法，否则端口close()似乎在spark应用程序关闭后保持打开状态。
from pydeequ.verification import *
from pyspark
浏览 19提问于2022-07-15得票数 1
我试图使用spark和java加载一个。代码在客户端模式(在我的本地机器上)运行良好，但它在集群模式(即服务器上)中给出了FileNotFound异常。
SparkSession spark = SparkSession
.builder()
.config("spark.mesos.coarse","true")
.config("spark.scheduler.mode","FAIR")
浏览 0提问于2019-06-17得票数 0
在Jupyter中，我创建了如下spark session
spark = SparkSession.builder
.master("yarn")
.appName("test procjet")
.getOrCreate()
但是我忘记了spark.stop()和关闭了Jupyter笔记本。我想调用stop()到旧的会话，所以我尝试了getOrCreate()，但是spark历史服务器显示新的应用程序。
如何获得旧的spark会话并停止？我也尝试过yarn application -kill <ap
浏览 66提问于2020-02-28得票数 2
1回答
我想在scala / sbt中的星火流项目中加入松弛api，当我运行这个程序时，我得到了一个类，而不是找到异常--我想是存在依赖问题吧？
错误：
Exception in thread "main" java.lang.NoClassDefFoundError: com/ullink/slack/simpleslackapi/listeners/SlackMessagePostedListener at org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:175) at sun.
浏览 1提问于2018-09-28得票数 0
回答已采纳
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。但它与配置单元的conf文件夹中的文件不同。从日志中，spark可以正确地获取hive的节约URI。我使用spark sql并在spark-shell中创建了一个hive表。我发现这个表是在spark.sql.warehouse.dir指定的文件夹中创建的。我将
浏览 0提问于2019-04-20得票数 0
1回答
我在本地windows ( HDFS ://localhost:54310)路径/tmp/home/下存储了一个CSV文件。我想从HDFS加载这个文件来触发Dataframe。所以我尝试了
val spark = SparkSession.builder.master(masterName).appName(appName).getOrCreate()
然后
val path = "hdfs://localhost:54310/tmp/home/mycsv.csv"
import sparkSession.implicits._
spark.sqlContext.read
浏览 2提问于2016-07-31得票数 2
回答已采纳
我正在运行一个星火流应用程序。有几次，其中一个作业由于某些运行时异常而失败。streaming将作业标记为失败，并继续处理下一个流批。如果其中一个作业失败，是否有一个参数可以设置为通知Spark关闭应用程序(而不是处理下一个流批)？我在独立集群模式上使用Spark1.4.1。
浏览 0提问于2016-06-10得票数 0
我尝试运行星火应用程序集成Hbase和ES。我尝试在ES中创建索引并存储来自HBase的数据，但在连接到ES服务器时收到了“用户未经授权或访问被拒绝”的问题。
我已经和行动小组联系过了，并将ES服务器弹出，尝试运行应用程序并获得附加异常--线程"main“org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:中的异常无法检测ES版本通常情况下，如果无法访问网络/Elasticsearch集群，或者当针对WAN/Cloud实例而没有在org.elasticsearch.spark.rdd.EsSpark$.doSaveToEs
浏览 2提问于2018-06-18得票数 0
我们正在对冰山进行POC测试，并首次对其进行评估。
火花环境：
workers)Spark: spark-3.1.2-bin-hadoop3.2Scala：独立集群设置(1主服务器和5 2.12.10Java: 1.8.0_321Hadoop: 3.2.0Iceberg 0.13.1 )
正如Iceberg的官方文档中所建议的，为了在shell中添加对Iceberg的支持，我们在启动shell时添加了Iceberg依赖项，如下所示，
spark-shell --packages org.apache.iceberg:iceberg-spark-runtime-3.2_2.12:0.13.1
在
浏览 11提问于2022-04-07得票数 1
回答已采纳
我有一个带有Spark 2.3.1的DStream流媒体应用程序。 其中我正在从Kafka读取数据并写入Kerberized HDFS，但随机地我的批处理开始失败，同时写入HDFS并异常显示kerberos相关的错误，但我的spark应用程序继续运行，所以我不知道我的批处理失败，除非我检查日志。 我的问题是，有什么方法可以限制连续批处理故障转移的数量吗？建议是否存在一些属性，我们可以在其中设置批处理失败的数量，在此之后应用程序将导致失败。例如：spark.streaming.xyz = 3，则应用程序应在连续3个微批处理失败后停止。
浏览 16提问于2019-04-12得票数 0
我希望使用选定的列对数据进行排序，方法是将它们从giving类型转换为prederred类型和prederred order。，但是即使是简单的列转换也不起作用，从而导致了这种异常。我在这里提供了示例代码。
val conf = new SparkConf().setAppName("Sparkify").setMaster("local[*]")
val sparkContext =new SparkContext(conf)
val sqlContext = new SQLContext(sparkContext)
var d
浏览 1提问于2016-04-14得票数 1
回答已采纳
我们使用Apache Spark 1.5.1和kafka_2.10-0.8.2.1以及Kafka DirectStream接口来使用Spark从Kafka获取数据。
我们在Kafka中使用以下设置创建了主题
ReplicationFactor :1和副本:1
当所有Kafka实例都在运行时，Spark作业工作正常。然而，当集群中的一个Kafka实例宕机时，我们会得到下面重现的异常。一段时间后，我们重新启动了禁用的Kafka实例，并尝试完成Spark作业，但Spark已经因为异常而终止。因此，我们无法阅读Kafka主题中的其余消息。
ERROR DirectKafkaInputDStream:1
浏览 3提问于2015-11-20得票数 4
1回答
我已经在EMR上运行了spark，并且我一直在尝试使用JDBC hive驱动程序从SQLWorkbench连接到spark-SQL，但都是徒劳的。我已经在EMR上启动了thrift服务器，并且能够从Tableau/SQL Workbench连接到端口10000(默认)上的Hive。当我试图运行一个查询时，它会触发一个Tez/Hive作业。但是，我想使用Spark运行查询。在电子病历框中，我可以使用beeline连接到SparkSQL，并将查询作为spark作业运行。资源管理器显示，beeline查询正在作为spark作业运行，而通过SQLWorkbench运行的查询正在运行hive/Tez作业
浏览 1提问于2016-11-19得票数 1
1回答
我们正在一个EC2实例上构建一个airflow服务器，该服务器与EMR集群通信以运行spark作业。我们正在尝试提交一个BashOperator DAG，它为一个简单的字数统计应用程序运行spark-submit命令。下面是我们的spark提交命令：
./spark-submit --deploy-mode client --verbose --master yarn wordcount.py s3://bucket/inputwordcount.txt s3://bucket/outputbucket/ ;
我们得到以下错误:在线程"main“org.apache.spark.Spa
浏览 0提问于2019-07-19得票数 0
我正在使用nio (非阻塞模式)。
当服务器关闭，并且我试图连接(在获得isConnectable键之后)，我将得到以下异常：java.nio.channels.ClosedChannelException。
每隔1秒，我就尝试重新连接到服务器(通过connect方法)，并获得相同的异常：java.nio.channels.ClosedChannelException。
当服务器启动时，我会得到相同的异常，无法连接到服务器。
我不明白后来服务器启用时为什么会有异常？
如何解决这个问题(如何尝试重新连接到服务器?)
谢谢
浏览 2提问于2014-07-27得票数 1
1回答
我是新手，在尝试从本地机器连接到远程服务器时遇到了一些问题，远程服务器包含一个Spark工作实例。
我成功地使用将vis隧道连接到该服务器，但我得到了以下错误：
线程"main“java.lang.NoSuchMethodError中的异常: scala.Predef$.$scope()Lscala/xml/TopScope$；在org.apache.spark.ui.jobs.AllJobsPage.(AllJobsPage.scala:39) at org.apache.spark.ui.jobs.JobsTab.(JobsTab.scala:38) at org.apache.
浏览 8提问于2017-06-29得票数 0
回答已采纳
我使用sparkjava构建了一个restful api。我从终端运行服务器，希望在那里打印出异常以便调试。但即使API 500s，它也不打印任何内容。
有没有办法打印出spark处理的所有异常？
浏览 1提问于2016-11-06得票数 4
1回答
我正在使用python 2.7 (不要问我为什么，我是一个承包商，我只是使用他们给我的东西)。
我正在尝试实现一个pyspark函数，该函数利用spark-bigquery 提交一个简单的查询，利用。
我正在经历最奇怪的事情；我编写了这个函数，并确认它在实际运行时确实对服务器有效。我想确保如果用户提供了一个不存在的表名，就会按照处理服务器返回的异常来抛出异常(我知道这不是TDD，但只需使用这个)。然后我开始为它编写测试，显然我必须生成一个模拟异常，我这样做如下：
module/query_bq
from py4j.protocol import Py4JJavaError
from pyspa
浏览 2提问于2019-10-14得票数 1
回答已采纳
2回答
我有一个配置单元分区表txnaggr_rt_fact，它有2个列分区txninterval和intervaltype。我正在尝试使用java从spark sql插入一条记录到这个表中。在插入过程中抛出异常。如果分区不存在，因为它必须创建一个新分区，并且创建失败，但是如果分区已经存在，则插入记录。
Java代码如下所示
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.config("spark.sq
浏览 0提问于2018-08-20得票数 0
1回答
我正在开发一个共享的服务器。几乎每天，我都试图运行一个命令并获得以下错误：Job 65 cancelled because SparkContext was shut down
我想了解更多关于SparkContext关闭的原因。据我理解，齐柏林飞艇是一个库贝应用程序，它向机器发送命令进行处理。
当一个SparkContext关闭时，这是否意味着我到星团簇的桥已经关闭了？如果是这样的话，我怎样才能让火花星系团的桥倒下呢？
在本例中，当我试图将数据上载到S3时发生了这种情况。
这是密码
val myfiles = readParquet(
startDate=ew LocalDate(2
浏览 3提问于2020-05-16得票数 7
回答已采纳
以下是我上课的路线：
aws-java-sdk-1.7.4.jar
hadoop-aws-2.7.3.jar
spark-sql-2.2.0.jar
以下代码工作正常：
object MySparkJob {
def main(args:Array[String]):Unit = {
val conf = new SparkConf().setAppName("MySparkTest").setMaster("local[4]")
val spark = new SparkContext(conf)
......a
浏览 4提问于2017-11-10得票数 2
回答已采纳
2回答
我创造了一个火花的环境通过使用-
(ns something
(:require [flambo.conf : conf]
[flambo.api :as f]))
(def c (-> (conf/spark-conf)
(conf/master "spark://formcept008.lan:7077")
(conf/app-name "clustering"))) ;; app-name
(def sc (f/spark-context c))
然后我创建了
浏览 7提问于2017-11-28得票数 1
回答已采纳
3回答
作为apache spark上的新手，在Spark上获取Cassandra数据时遇到了一些问题。
List<String> dates = Arrays.asList("2015-01-21","2015-01-22");
CassandraJavaRDD<A> aRDD = CassandraJavaUtil.javaFunctions(sc).
cassandraTable("testing", "cf_text",CassandraJavaUtil.mapRow
浏览 0提问于2015-06-30得票数 1
我试着阅读“火花”中卡夫卡(第10版)的信息，并试图打印出来。
import spark.implicits._
val spark = SparkSession
.builder
.appName("StructuredNetworkWordCount")
.config("spark.master", "local")
.getOrCreate()
val ds1 = sp
浏览 10提问于2016-11-15得票数 31
1回答
我使用的是Jupyter notebook和PySpark，它使用Spark作为内核。
问题是我不确定如何正确地关闭它，我的印象是有什么东西一直挂着，因为笔记本运行的驱动程序上的内存变满并崩溃(我得到了GC开销异常)。
我使用保存到.pid文件中的进程id简单地杀死了笔记本，从而结束了整个过程。但我有一种感觉，下面的状态很好：
实际的问题是什么，如何解决它，即如何正确地关闭整个事情(在驱动器上和纱线上)？
浏览 32提问于2017-01-28得票数 2
回答已采纳
1回答
火花驱动程序不会在异常情况下崩溃
、、、、
我们正在以客户端模式在Kubernetes上运行Spark3.1.1。
我们是一个简单的scala星星之火应用程序，它从S3加载parquet文件并聚合它们：
sparkSession.read.parquet(paths).as[MyRawEvent]
我们的应用程序完美地运行在愉快的路径上:驱动程序荚开始运行，执行者吊舱加入到其中，当应用程序完成时，执行器和驱动程序都终止。
另一方面，如果出了问题，驱动程序+执行器吊舱都保持在Running状态。例如，如果上面的paths之一不存在，则会发生异常(在驱动程序中)：
Exception in thread "main" org
浏览 2提问于2021-08-07得票数 3
回答已采纳
1回答
我正在尝试从sql服务器数据库中获取数据，并创建一个spark数据集。当我将数据集持久化到orientdb时，无法做到这一点。
下降到误差以下
线程“主”'jdbc:orient:REMOTE:localhost/test'中的异常:连接异常发生:打开数据库java.lang.RuntimeException时出错
这是我的代码：
Map<String, String> options = new HashMap<>();
options.put("driver", "com.microsoft.sqlserver
浏览 2提问于2017-02-28得票数 0
我尝试使用汇流平台，并以为例，向REST端点发出高级别的Kafka请求。
我使用以下Kafka参数：
val kafkaParams = Map(
"bootstrap.servers" -> "localhost:9092",
"schema.registry.url" -> "http://localhost:8081",
"group.id" -> "EventConsumer",
"auto.offset.reset" -> "
浏览 3提问于2016-09-05得票数 0
1回答
我想知道如何正确处理客户端服务器应用程序中的异常。我的客户端向服务器(线程)发送信息，服务器(线程)在其run方法中接收它。在run方法中处理异常时，我已经读过一些关于非常规异常处理的内容，但是我想知道在我的例子中，这是否是正确的方法。我想在客户端捕获异常。
我打算做以下工作：
//Server
run(){
try{
...
}
catch(Exception e){
clientoutputstream.write(...); //transmitting the error
}
}
还有其他建议吗？
浏览 0提问于2016-03-14得票数 1
回答已采纳
我获得了一些火花代码，它从HDFS中读取两个文件(头文件和正文文件)，将RDDString还原为一个分区，然后使用GZip编解码器将结果写入压缩文件：
spark.sparkContext.textFile("path_to_header.txt,path_to_body.txt")
.coalesce(1)
.saveAsTextFile("output_path", classOf[GzipCodec])
这是100%的工作，如预期。我们现在被要求为那些无法对*.gzip文件进行本地解压缩的用户提供压缩压缩。显然，zip格式本机不受支持，所以我尝试使用自己的
浏览 1提问于2018-07-13得票数 1
回答已采纳
我想在客户端套接字上区分服务器连接关闭的异常，比如如果服务器套接字由于空闲超时而关闭，则必须在客户端生成原因作为空闲超时异常。类似地，对于连接失败、连接失败、异常等等。请帮我解决这个问题。提前谢谢。
浏览 2提问于2012-09-02得票数 1
回答已采纳
1回答
我使用的是Spark 2.1的结构化流媒体(内部使用的是Hive 1.2.1 jars)。我正在尝试为Hive开发ForEachWriter，以便通过JDBC连接器将流数据写入Hive。
在我的集群上，我安装了Hive 1.1.0。
如果我使用1.2.1版本的Hive jdbc jar，那么由于客户端和服务器版本的Hive不匹配，我会得到以下异常：
Required field 'client_protocol' is unset!
如果我使用1.1.0版本的Hive jdbc jar，那么我在Spark中得到异常，如下所示：
Caused by: java.lang.NoSu
浏览 0提问于2017-05-24得票数 6
1回答
我目前有最新的zeppelin源代码运行在HDP 2.5的主服务器上，我还有一个worker服务器。
在主服务器下，我检测到在过去12天内生成了几个JAVA进程，它们没有完成并且正在消耗内存。内存一度变满，无法在其Yarn队列下运行Zeppelin。我在Yarn有一个排队系统，一个是JobServer的，另一个是齐柏林飞艇的。Zeppelin当前使用root运行，但将更改为每个自己的服务帐户。系统为CENTOS 7.2
日志显示了以下进程，为了便于阅读，我开始区分它们:进程1到3似乎是齐柏林飞艇，我不知道进程4和5是什么。这里的问题是:是否存在配置问题？为什么zeppelin-daemon没有
浏览 1提问于2016-11-22得票数 2
以下代码片段在Spark2.2.1中运行良好，但在Spark2.3.0中给出了一个相当神秘的运行时异常：
import sparkSession.implicits._
import org.apache.spark.sql.functions._
case class X(xid: Long, yid: Int)
case class Y(yid: Int, zid: Long)
case class Z(zid: Long, b: Boolean)
val xs = Seq(X(1L, 10)).toDS()
val ys = Seq(Y(10, 100L)).toDS()
val z
浏览 0提问于2018-04-10得票数 14
2回答
我创建了一个服务器套接字程序，将流数据发送到Apache spark.But数据，在关闭套接字或终止程序后，由spark接收数据，我需要发送数据而不关闭套接字和终止程序。
import java.io.DataOutputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.Scanner;
public class SocketServer {
public static void main(String[] args) {
try {
ServerSoc
浏览 3提问于2015-03-11得票数 0
回答已采纳
1回答
我试过了
./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py
在我自己的电脑里，一切都很好。但是当我在学校的服务器上尝试后，它有以下的信息和错误。我在谷歌搜索了很长一段时间，不知道。有谁可以帮我？
常春藤默认缓存设置为:/home/zqwang/. Ivy 2/缓存存储在以下文件中的包的jars :/home/zqwang/.Ivy 2/jars :：home设置:：url = jar:file:/data/opt/t
浏览 1提问于2018-08-27得票数 0
回答已采纳
我在intellij项目中进行了一些星火单元测试。当我一个一个地(文件一个文件地)启动它们时，一切都很好。当我想测试所有的包裹时，我得到了：
一个异常或错误导致运行中止:在这个JVM中可能只运行一个SparkContext (参见SPARK-2243)。若要忽略此错误，请设置spark.driver.allowMultipleContexts = true。
我读过将spark.driver.allowMultipleContexts设置为true是危险的:-/
有没有办法让intellij一个一个地运行测试。
浏览 4提问于2016-02-18得票数 1
回答已采纳
获取以下异常:线程"main“中出现异常: java.lang.UnsupportedClassVersionError: spark/Route :不支持的major.minor版本52.0
尝试使用spark web应用程序框架时，当我执行文件时，它抛出此异常。
Spark Framework版本: 2.0.0
浏览 0提问于2014-06-03得票数 10
回答已采纳
我试图使用以下Jdbc方法使用spark将数据插入到sql服务器中。
选项1:
prop.put("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")
dataf.write.mode(org.apache.spark.sql.SaveMode.Append).jdbc(url,table_name, prop)
表已经创建。附加新的data.Job错误-ed与下面的异常
线程"main“中出现异常
数据库中拒绝com.microsoft.sqlserver.jdbc.SQLSer
浏览 2提问于2016-07-27得票数 0
回答已采纳
我正在TCP上创建一个java客户机/服务器应用程序，其中我们有两个套接字：
一种是用来交换信息。
二是用于文件传输。
为了创建套接字一和二，我在服务器二ServerSockets中创建了
通过接受ServerSockets。
首先，客户端通过第一个套接字发送一些字节。
这样它就可以告诉服务器它需要哪个文件。
然后，服务器通过第二个套接字将文件发送给客户端。
在客户端收到文件后，尝试将一条传输完成的消息发送回服务器。
在这里，我得到了封闭套接字的异常。
然而，我从来没有关闭插座，直到现在。
我只关闭文件的缓冲区。
即使在发送文件后再次尝试打开socketInputStream，
浏览 1提问于2013-04-02得票数 6
回答已采纳
这似乎是一个非常奇怪和具体的问题，让我感到困惑。 在Hive表上使用由spark.sql("select * from table")查询构建的DataFrame时，每当我尝试在该DataFrame上的转换或操作步骤中使用spark.sql("select * from table")客户端时，都会得到一个超时异常。 示例： import scalaj.http._
import org.apache.spark.sql.SparkSession
object Example {
def postDoc(doc: String): Unit = {
浏览 9提问于2020-01-09得票数 0
回答已采纳
我执行了一个spark程序，在该程序中，我使用customer框架对事实对象应用了Drools规则。我在Flatmap函数中调用这个自定义框架，规则被成功执行，但在收集结果后，我看到了下面的异常。有没有人遇到过同样的问题？如何修复此错误？请在这个问题上帮助我。
15/09/18 10:45:34 INFO JDBCRDD: closed connection
15/09/18 10:45:34 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 599 bytes result sent to driver
15/09/18 10:45
浏览 0提问于2015-09-18得票数 3
回答已采纳
我有两个服务器节点运行与火花工人并置。我正在使用共享点燃RDD来保存我的数据。如果启动两个服务器节点的代码都失败，则只有一个服务器节点处于凝视状态时，我的代码才能正常工作。
网格处于执行此操作的无效状态。它不是还没有启动，就是已经或者已经停止了gridName=null，state=STOPPING
DiscoverySpi配置如下
<property name="discoverySpi">
<bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
浏览 4提问于2016-11-23得票数 2
我有一个示例火花作业，我可以成功地在java 8上运行，但是当我在java 9上运行相同的程序时，它会在NumberFormatException上失败。
SparkConf conf = new SparkConf();
conf.setMaster("local[*]").setAppName("java 9 example");
SparkSession session = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> ds = session.read().te
浏览 2提问于2017-08-29得票数 4
回答已采纳
我在一个码头容器中运行了一个火花群集。我有一个吡火花简单的例子程序来测试我的配置，它运行在我的桌面上，在码头容器外。火花控制台获取并执行作业并完成作业。然而，pyspark客户端永远不会得到结果。
吡火花程序的控制台显示：
使用spark的默认log4j配置文件:org/apache/log4j/log4j-defaults.properties将默认日志级别设置为“警告”。若要调整日志记录级别，请使用sc.setLogLevel(newLevel)。对于SparkR，使用setLogLevel(newLevel)。22/03/05 11:42:23警告ProcfsMetricsGetter
浏览 3提问于2022-03-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
