当我提交CreateSubmissionRequest JSON时，我正在使用Spark隐藏rest api以的形式提交spark应用程序，但不包含以下内容 "SPARK_ENV_LOADED" : "1"作业失败，并显示以下错误
WARN Worker: Driver driver-20170206152610-0010 failedwith unrecove
浏览 9提问于2017-02-06得票数 1
回答已采纳
我正在尝试通过窗口上的spark提交我的spark-mongo代码jar，我在独立模式下使用spark。我在同一台机器上配置了spark master和两个worker。--class spark.mongohadoop.testing3 G:\sparkmon1.jarRunning Spark using the REST applicationbuiltin-java classes where applicable
17&#
浏览 41提问于2017-02-28得票数 1
1回答
火花- hadoop论点
、、、
我同时运行hadoop和S火星，我想使用来自hdfs的文件作为火花提交的一个参数，所以我在hdfs中创建了一个文件夹--例如。/user/hduser/test/input，我想运行spark提交如下：
警告FileInputDStream:查找新文件<em
浏览 2提问于2017-08-09得票数 0
似乎在spark 3.0.0上，当我使用kubernetes It require进行spark提交时，我使用了在2.4.5中工作得很好的相同的spark提交，我得到了这个错误：20/07/04 08:17:51 INFO SparkK
浏览 4提问于2020-07-04得票数 3
1回答
我正在尝试在提交给集群的spark作业中使用drools。THe作业将首先从drools服务器获取drools jar，然后初始化库和会话。我的代码在Spark中执行时可以正常工作，但当提交到spark集群时，会发生NPE。ks.getRepository();提交代码后显示的错误：
Exception in t
浏览 32提问于2018-08-29得票数 0
回答已采纳
我正在做简单的spark聚合操作，从avro文件中读取数据作为dataframe，然后使用rdd.map方法将它们映射到案例类，然后执行一些聚合操作，比如计数等。大多数时候，它工作得很好。但有时会产生奇怪的CodeGen异常；&#x
浏览 0提问于2017-03-30得票数 1
如何在不使用javaRDD的情况下使用dataframe(spark sql)从Hbase获取数据。hbase.table", "emp1");
DataFrame dataFrame1 = sqlContext.read().format("org.apache.hadoop.hbase.spark(DefaultSource.scala:119) at org.apache.hadoop.hbase.spark.DefaultSource.createRelation(DefaultSou
浏览 4提问于2017-05-12得票数 0
我正在使用Spark Job Server 0.6.2和Spark 1.6.0，在一些作业提交尝试中，我得到了以下异常：java.lang.NullPointerException
at org.apache.spark
浏览 0提问于2016-11-16得票数 1
但是，当我试图将数据写入文件时，我得到了以下错误，似乎类型不匹配(正如您在下面看到的，错误显示只是json文件的模式)。Caused by: org.apache.spark.SparkException: Failed to execute user defined function(anonfun$1: (array
浏览 4提问于2017-05-02得票数 0
回答已采纳
1回答
我们在CDH 5.5集群上使用spark 1.6.1。","false");理想情况下，我希望将summary-metadata设置为false:56)at org.apache.spar
浏览 8提问于2017-01-31得票数 1
回答已采纳
我将输入文件指向本地意味着它工作正常，但是当我指向hdfs时意味着它抛出错误。Exception in thread "delete Spark local dirs" java.lang.NullPointerException
at org.apache.spark.storage.Disk
浏览 3提问于2015-09-02得票数 0
0000 |val broadcastMyMap = spark.sparkContext.broadcastbroadcastMyMap.value.get(key))
myDF.withColumn("col2", when ($"col2" === "0000", looku
浏览 0提问于2019-06-11得票数 3
回答已采纳
1回答
你好，亲爱的linux用户，我在“我的世界”中安装伪造modloader程序有问题，我在1.7.2中使用了最后的推荐版本，我只得到了一些错误： at java.lang.ClassLoader.loadClass(ClassLoader.java:358)Caused by: java.lang.NullPointerExceptionnet.minecraft.launchwrapper.LaunchCl
浏览 0提问于2015-01-23得票数 -1
到目前为止，我一直在使用命令在本地机器上运行/测试Apache的应用程序：Caused by: java.lang.NullPointerExceptionStringIndividualMapReduce.java:91)
at mapreduce.Mapper.l
浏览 5提问于2016-03-03得票数 0
回答已采纳
我正在尝试提交一个应用程序到我的远程Spark 2.3.2集群(我可以从我的客户端机器访问)。我一直收到ERROR SparkContext:91 - Error initializing SparkContext. java.lang.NullPointerException，我就是不明白为什么任何关于ERROR SparkContext:91 - Error initializing SparkContext. java.lang.NullPointerException含义的见解或建议都将不胜感激...
2018-1
浏览 0提问于2018-11-15得票数 1
我尝试通过Jupyter notebook访问在EMR集群上运行的Spark，但遇到错误。SingleWell parallelization on Spark")\尝试跟随访问远程群集，但出现错误： .getOrCreate()Py4JJavaError: An error occurred while call
浏览 4提问于2017-06-28得票数 2
我们已经生成了一个Jar的Spark引导应用程序。 --master spark://UCSL-GKL-HDP-02:6066/home/hadoop/spark-2.1.0-bin-hadoop2.7/bin/AIRecordLinkage.jar
在系统中运行时没有出现错误，我们在将其导出到jar之前开发了。当尝试使用独立的星火提交函数在集群模式下运行它时，我们面临
浏览 4提问于2017-04-21得票数 3
问题来自:我用这样的冰山目录连接到spark： --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions\ --conf s
浏览 34提问于2022-05-16得票数 1
1回答
在Apache中捕获自定义异常有一个问题。ds.foreach( validate(entry)当条目无效时，验证函数将引发自定义异常。case customException : CustomException =>case exception : SparkException =>
浏览 1提问于2018-02-13得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
