当尝试使用SparkGraphComputer来计算集群上的巨人图上的顶点数量时，我得到了一个错误，我不知道如何处理。我在我的代码中使用了tinkerpop3.1.1-孵化和Titan 1.1.0-SNAPSHOT，并且在集群上安装了datastax社区版本2.1.11和spark 1.5.2-bin-hadoop2.6OLTP和将OLAP与FulgoraGraphComputer一起使用的
浏览 8提问于2016-07-22得票数 3
回答已采纳
我试着用"gapply“来实现对星火的简单查询，但是会遇到麻烦。
这个代码很好用。由: EOFException: org.apache.spark.SparkException:由于阶段失败导致作业中止:阶段235.0中的任务0失败4次，最近的失败: 235.0阶段中丢失任务0.3(TID 374) (10.150.
浏览 10提问于2022-06-21得票数 0
1回答
我试图通过JAVA代码在SAP上使用spark来执行查询。在调用数据框架对象的任何操作时，当调用java.io.NotSerializableException.In时，将抛出NotSerializableException。String[] args) { test.call();}
线程"main“org.apache.spark.SparkExceptionorg.apache
浏览 0提问于2016-03-29得票数 2
1回答
无法从火花外壳打印Hana数据
、、、、
在下面的代码中，我试图从星火壳连接到HANA，并从特定的表中获取数据： val countsval=results.count()错误如下：
scala> resultsCounts.show() org.apache.spark.SparkException:由于<e
浏览 1提问于2017-10-11得票数 0
1回答
我刚接触pyspark，正在尝试了解PageRank是如何工作的。我在Cloudera上使用Jupyter中的Spark 1.6。我的顶点和边(以及模式)的屏幕截图位于以下链接中：和#import relevant libraries for Graph Frames
from pyspark import语法: org.apache.spark.SparkException:作业由于阶段</em
浏览 6提问于2018-05-25得票数 0
我正在使用EMR step函数来分析数据。我想要存储分析数据的计数，以决定是否可以将其保存为csv或拼板。我更喜欢CSV，但如果尺寸太大，我将无法下载和使用它在我的笔记本电脑。当我尝试使用以下代码时，我使用count()方法将其存储到int变量limit中：
coalesce(1).write.format("text").option("header", "false").mode("overwri
浏览 5提问于2020-03-23得票数 2
回答已采纳
1回答
我在Power中使用spark服务，它抛出下面的错误试图从Spark加载视图。'org.apache.hive.service.cli.HiveSQLException：：ODBC:来自服务器的错误HY000错误:错误代码：'0‘错误消息:运行查询的DataSource.Error错误：由于阶段失败而中止的org.apache.spark.SparkException：作
浏览 2提问于2022-05-15得票数 0
回答已采纳
1回答
在云Datafusion中，我使用一个合并转换来连接两个表。 org.apache.spark.SparkException:由于阶段失败而中止作业:阶段7.0中的任务50失败4次，最近一次失
浏览 4提问于2020-01-10得票数 1
我有一个单元测试，它必须有目的失败，但我不能捕捉它，所以这是奇怪的。以下是csv文件的外观：AED_FXDEP;OIS;AED;240,1000AUD_CALMNY_DISC;OIS;AUD;169.7056275AUD_DEPO_BBSW;6m;AUD;{"type" : "structcsv的</
浏览 4提问于2017-01-04得票数 1
回答已采纳
1回答
我正在尝试将PostgreSQL 9.6中的一个表读入RDD中的Spark2.1.1，我在Scala中有如下代码。my_db", "my_user", "my_pass")}, 0, 100000, 2)
org.apache.spark.SparkException:由于阶段失败而中
浏览 0提问于2017-06-16得票数 2
回答已采纳
我收到以下错误： 原因: org.apache.spark.SparkException:由于阶段故障而中止作业:阶段7.0中的任务653失败了4次，最近一次失败:阶段7.0中丢失的任务653.3 (TID 27294，ip-10-0-57-16.ec2.internal，executor 34)：ExecutorLostFailure (executor 34由正在运行的
浏览 73提问于2020-10-17得票数 1
2回答
我们的应用程序处理实时流数据，这些数据被写入到拼花文件中。我们经常会启动一个新的拼花文件，但是由于每秒钟更新一次，而且数据需要在数据输入时立即被搜索，所以我们一直在更新“当前”拼花文件。我们以原子的方式进行这些更新(用现有数据生成一个新的parquet文件，再加上新的数据到一个临时文件名，然后通过对现有文件的文件名的原子OS调用将文件重命名)。问题是，如果我们对上面描述的“半活”文件进行</
浏览 0提问于2019-04-04得票数 0
我有一个运行在远程服务器上的Apache实例，我使用Scala通过一个Spark解释器与它进行通信。我试着用这个标准语句，但它返回以下错误：
org.apache.spark.SparkException:由于阶段失败而中止的任务:阶段19.0中的任务0失
浏览 4提问于2017-06-21得票数 2
回答已采纳
我打算使用scala读取一个Hive表，并从中提取一些/所有字段，然后将数据保存到HDFS中。+=(row.get(i).toString)第一行效果很好。数据能够正确地保存在HDFS上。如果使用第二行，则在保存数据时引发错误：
错误ApplicationMaster: User类<em
浏览 0提问于2018-11-07得票数 0
回答已采纳
1回答
我使用随机搜索找到了一个LightGBM模型，该模型使用MLFlow保存到.pkl文件中。我们的目标是将这个被腌制的模型加载到Pyspark中，并在那里进行预测。简单的不腌制就能做到这一点吗？columns_list
如果我试图显示、计数或保存输出:由于<em
浏览 1提问于2021-06-11得票数 2
回答已采纳
1回答
使用UDF处理多列时堆栈溢出
、、、、
我有一个DataFrame，它有许多str类型的列，我想对所有这些列应用一个函数，在不重命名它们的名称或添加更多列的情况下，我尝试使用一个执行withColumn的for-in循环(参见下面的例子)，但是通常当我运行代码时但是您可以在这里找到完整的跟踪
Py4JJavaError:调用o516.howString时出错。：：java.io.ObjectInputStream$BlockDataInputStream.readByte(ObjectInputStream
浏览 2提问于2016-01-28得票数 6
回答已采纳
在努力提高代码性能时，因为我有许多作业失败(中止)，每当我需要在许多其他操作中使用相同的数据same时，我就考虑在Spark上使用persist()函数。在执行任务时，以及在Spark应用程序UI中的各个阶段，我觉得这样做并不总是最优的，这取决于分区的数量和数据大小。我不确定，直到我因为坚持阶段的失败而放弃了这份工作。我在质问persist()
浏览 2提问于2019-02-12得票数 8
1回答
我开始使用这个“身份”熊猫udf在一个运行在EMR集群上的Pyspark木星笔记本上与熊猫udf合作，我得到了以下错误：
@pandas_udf(df.schema, PandasUDFType.GROUPED_MAP：：org.apache.spark.SparkException:由于阶段失败而中止作业: 113.0阶段的任务0失败4次，最近的失败</
浏览 3提问于2020-09-08得票数 1
回答已采纳
82.6194271643,2381.06882039,-65.0826814456,1.70454845719,-75.5970986012,-67.5109145931]接下来，我使用以下代码创建一个函数predict(a,b,c,d,e,f):我知道这个函数工作正常，因为我可以对它进行如下测试：Out[44]: 57
浏览 0提问于2015-05-10得票数 1
1回答
当我使用火花1.6.1时，一切都很好。当我切换到Spark2.1.0时，我遇到了以下问题：
线程“主”org.apache.spark.SparkException中的异常:由于阶段失败而中止作业:第3.0阶段中的任务33失败了4次，最近一次<em
浏览 0提问于2017-02-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
