我从Spring java应用程序处理csv文件来触发清理。
获取序列化异常。由: scala.collection.immutable.List$SerializationProxy :无法将org.apache.spark.rdd.RDD.org$apache$spark$rdddependencies_实例分配给java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(
浏览 0提问于2019-05-07得票数 2
当我尝试训练线性回归模型时，我得到了下面的异常(然而，当我使用单独的JVM训练模型时，同样的事情也可以正确执行)： at java.io.ObjectStreamClass:76)
at org.apache.spark.
浏览 103提问于2017-12-20得票数 0
1回答
我正在尝试使用命令从azure HDInsight集群的头节点运行scala应用程序。星星之火-提交类wasbs://containername@<storageaccountname>/sample.sas7bdat wasbs://containername@<storageaccountname由: scala.collection.immutable.List$SerializationProxy :无法将org.apache.spark<
浏览 1提问于2017-03-27得票数 0
我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。我的需求是将RDD与Cassandra表连接起来，获取结果并将其存储在hive表中。 我正在使用joinWithCassandraTable加入cassadra表。加入后，生成的RDD如下所示 com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.spark<
浏览 20提问于2020-07-17得票数 0
当根据我的想法启动spark作业时，我得到以下错误：java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.Listscala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD
我从了解到这可能是一个版本冲突，但我不知道在我的情况下发生了什么我使用的<
浏览 22提问于2016-08-06得票数 0
回答已采纳
1回答
我有一个使用Databricks笔记本从数据集创建的RDD。val pcDf = spark.sql("SELECT * FROM pagecounts20160801")
val pcDs = pcDf.as, name: org$apache$spark$rdd$RDD$
浏览 1提问于2016-10-29得票数 4
在获得原始文本的RDD后，我创建了一个数据帧，并通过Tokenizer、StopWords和CountVectorizer管道对其进行转换。我打算将向量输出的RDD从CountVectorizer传递给MLLib中的OnlineLDA。下面是我的代码： RegexTokenizer tokenizer = new RegexTokenizer()
.setInputC
浏览 0提问于2016-04-05得票数 2
根据这个，我正在应用udf来过滤CountVectorizer之后的空向量。但是，当我通过spark submit运行相同代码的驱动程序时，它会产生以下错误：
scala.collection.immutable.List$SerializationProxy :不能将org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_实例分配给scala.collection.Seq类型的
浏览 3提问于2018-02-12得票数 1
我在集群模式和本地模式的spark上尝试简单的字数统计示例，它在本地模式下工作得很好，但在集群模式下抛出类强制转换异常这里是代码片段…例外：
java.lang.ClassCastException: cannot assign instance of scala.collection.immuta
浏览 0提问于2016-02-21得票数 12
我从MySQL/MariaDB中提取数据，在创建Dataset期间，数据类型发生错误
线程"main“org.apache.spark.sql.AnalysisException中的异常:不能从十进制(30，6)到十进制(38，18)，因为它可能截断目标对象的类型路径是：- AMOUNT (类："org.apache.spark.sql.types.Decimal"，名称：”org.apach
浏览 16提问于2016-12-03得票数 13
回答已采纳
2回答
我正在使用sqlContext的cassandraTable()函数从cassandra读取数据。它将创建一个DataFrame。我将这个Df转换为Rdd，并将其映射到case类对象。我已经检查了发布的类似问题，但都没有帮助。dataClass.saveToCassandra("keyspace", "table")Caused by: org.apache.spark.SparkException<em
浏览 0提问于2017-04-17得票数 1
1回答
我已经在我们的测试环境中添加了mockito (使用Guice)，如下所示：SparkSessionProvider是我们自己的类val clickoutService = injectorWithMocks.instance[Clicko
浏览 4提问于2017-12-23得票数 0
我是Spark ML的新手。我正在尝试使用Spark ML Pipeline来链接数据转换(将其视为ETL过程)。换句话说，我想输入一个DataFrame，执行一系列转换(每次向该数据帧添加一列)，并输出转换后的DataFrame。我研究了Python中的Pipeline文档和代码，但我不知道如何将转换后的数据集从Pipeline中提取出来。请参
浏览 0提问于2018-04-11得票数 1
2回答
当我在将我的代码从Spark2.0迁移到2.1时，我无意中发现了一个与Dataframe保存相关的问题。这是密码import org.apache.spark.ml.linalg.VectorUDTval toSave = new or
浏览 3提问于2017-05-24得票数 3
回答已采纳
我试图运行简单的逻辑回归程序在火花。我得到了这个错误:我试图包含各种语言来解决问题，但这并不是解决问题。java.lang.IllegalArgumentException:需求失败:列pmi必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是DoubleType;import org.apac
浏览 7提问于2017-06-30得票数 2
我使用以下代码构建了一个随机森林模型：importorg.apache.spark.ml.classification.RandomForestClassifier
val rf = new RandomForestClassifier().setLabelCol
浏览 13提问于2016-05-18得票数 5
回答已采纳
但是org.apache.spark.ml.feature.LabeledPoint只在较新版本的spark-mllib中可用。所以，问题是:有没有什么聪明的方法可以使用.asML()方法，它只在较新版本的spark中可用，这样我就可以转换LabeledPoint并将其传递给XGBOOST API？我不熟悉maven是如何处理依赖关系的，但我想到了类似这样的东西：
创建一个使用较新
浏览 0提问于2018-04-25得票数 1
我需要从经过训练的转换器中提取属性，以便我可以在以后使用它们，例如来自QuantileDiscretizer的bin边界，来自StringIndexer的名称到索引映射。例如，如何在下面的代码中从"discretizer_trained“中提取bin边界。我不能通过谷歌搜索以及从官方文档https://spark.apache.org/docs/latest/api/
浏览 16提问于2019-07-03得票数 0
回答已采纳
val outputRecs = inputRecs.map(rule.transformation) new ScalaExpression(fn)}
上面的代码抛出一个神秘的异常to field org.apache.spark.rd
浏览 0提问于2019-01-18得票数 1
我注意到SparkML中有两个LinearRegressionModel类，一个在ML包(spark.ml)中，另一个在MLLib (spark.mllib)包中。这两个实现方式截然不同--例如，来自MLLib的一个实现了Serializable，而另一个则没有。为什么有两个类？哪一个是“正确”的？有没有办法把它们
浏览 9提问于2016-08-09得票数 50
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
