我想在Rdd mapToParis中读取mongo数据，代码如下：Exception in thread "main" org.apache.spark.SparkException: Task not serializable
我可以建立一个单独的
浏览 1提问于2018-02-02得票数 0
我正在本地运行我的应用程序 这是我的程序 import org.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaSparkContext;
textRDD.foreac
浏览 20提问于2019-12-27得票数 1
回答已采纳
._2)))
org.apache.spark.SparkException:不可序列化的任务，但是它给了我数组而不是rdd，对于这个异常有什么解决方案吗？
浏览 6提问于2017-11-30得票数 0
你好"Exception in thread "main" org.apache.spark.SparkException: Task not serializable"package moviestream.recommenderimport
浏览 4提问于2016-04-03得票数 0
我观察到有一些可序列化的问题，但我不能准确地追踪出来。谁能解释一下我能在这里做些什么。提前谢谢。
浏览 5提问于2016-07-28得票数 0
1回答
减少星火阶段的任务数
、、、、
我正在aws中运行一个spark作业，它从s3读取大约100 k小JSON文件，执行一些转换，并将结果写回s3。我已经将洗牌分区和默认并行性设置为20，执行器内存设置为4GB。但是，对于NativeMethodAccessorImpl.java，的javaToPython (我理解为写入s3的UI )阶段之一，有将近2.7k个任务，输入数据大小< 1MB。我还测试了应用程序，减少了应用程序中的分区数量(通过合并)，但似乎没有什么改变。我运行的是火花放电2.4.7和EMR-5.33.1
浏览 13提问于2022-02-10得票数 0
/docs")
ssc.awaitTermination()
}
我得到了这个错误:线程"main“中的异常org.apache.spark.SparkException:作业由于阶段失败而中止:未能序列化任务2，而不是试图重试它。序列化期间的异常: java.io.NotSerializableException: Graph当DStream被序列化时意
浏览 9提问于2020-04-21得票数 1
在运行以下代码时，我没有得到可序列化的错误：Exception in thread "main" org.apache.spark.SparkException: Task not serializable at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scal
浏览 2提问于2021-11-07得票数 2
2回答
我想出一个例外：
ERROR yarn.ApplicationMaster: User类抛出异常: org.apache.spark.SparkException:任务不可串行化org.apache.spark.SparkException:任务不可序列化在org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureClea
浏览 4提问于2016-11-09得票数 6
回答已采纳
我已经在驱动程序中创建了spark jdbc单例连接&计划在执行器中使用连接。我得到了下面的异常。org.apache.spark.SparkException:任务不可序列化object ExecutorConnection { }
我有
浏览 0提问于2020-01-15得票数 0
7回答
我正在寻找一种解决方案，以便在Apache节点上执行代码时能够记录额外的数据，这可能有助于以后研究在执行过程中可能出现的一些问题。例如，尝试使用像com.typesafe.scalalogging.LazyLogging这样的传统解决方案会失败，因为日志实例不能在像Apache这样的分布式环境中序列化。这是我的完整代码：import org.apache.spark._
def mai
浏览 4提问于2015-03-23得票数 69
1回答
由于某些原因，我得到的是以下代码中不可序列化的任务异常。我是运行在火花本地使用sbt测试。scenario("Test data sanity check") { }}org.apache.spark.SparkException例如，我们可以完全删除过滤器和映射，并且在收集过程中
浏览 1提问于2015-06-17得票数 0
1回答
我试图使用Foreach分区来迭代一个数据文件，以便将一个值插入到数据库中。我使用了前端分区，对行进行分组，并使用foreach迭代每一行。})})}) org.apache.spark.SparkException :不可序列化的任务。。原因如下：
org.a
浏览 0提问于2021-12-02得票数 0
2回答
我正在尝试学习spark + scala。我想从HBase中读取，但没有mapreduce。我创建了一个简单的测试表格-“HBase”，并在其中做了3个puts。我尝试在shell上运行以下命令 new Get(Bytes.toBytes("row1")), sc.parallelize(numbers, numbe
浏览 0提问于2014-05-13得票数 2
1回答
我试图在2 RDD之间使用联接方法，并将其保存到cassandra，但我的代码不起作用。一开始，我得到了一个巨大的主要方法，所有的东西都很好用，但是当我使用函数和类时，它就不起作用了。// don't work .saveToCassandra(keyspace, table)
从一开始，我就得到了著名的线程"main“中的异常: org.apache.spark.Spar
浏览 4提问于2017-06-16得票数 0
回答已采纳
当读取存储在HDFS上的文本文件时，如果在用BlockMissingException读取这些文件时遇到sc.textFile (或其他一些异常)，如何捕获错误并继续执行emptyRDD？我可能遇到BlockMissingException的原因是，例如，如果文件存储在HDFS上，复制因子为1，而数据节点下降了。这是我收到的例外
线程“主”org.apache.spark.SparkException中的异常:由于
浏览 3提问于2017-11-09得票数 1
1回答
对于数组中的所有元素，我应该读取Cassandra的数据，执行一些计算并将数据插入Cassandra。context to make the querysave it back to Cassandra})编辑的
线程"main“中的
浏览 4提问于2016-04-21得票数 0
我正在尝试从一个示例java应用程序中运行一个hive查询，将spark.master指向在我的本地计算机上运行的火花主程序( spark ://Dynamic-i0248u:7077)。INFO TaskSetManager:启动任务1.0在阶段0.0 (TID 1，172.26.52.54，任何，2181字节)
异常:线程中的"sparkDriver-akka.remote.defa
浏览 2提问于2015-12-10得票数 1
我能够读取和解析数据，但是当我调用下面的行来保存数据时，我将得到一个Task not Serializable异常。extends Serializable { val sparkConf = new SparkConf():任务不可序列化的
16/08/06 10:24:52错误JobScheduler:错误运行作业流作业1470504292000
浏览 5提问于2016-08-06得票数 2
回答已采纳
我试着在火花中使用org.slf4j.Logger。因为方法main是静态的，而logger是非静态的。import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.Function我再去拿一个
线程"main“org.apache.spark.SparkException<em
浏览 0提问于2018-11-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
