Class.java:1784)Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.Dataset
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
浏览 197提问于2016-07-08得票数 9
回答已采纳
这就是我所拥有的：import org.apache.spark.sql.Dataset; }我在运行时遇到的错误是：
Exception in thread "main" java.lang.ClassNotFoundException
浏览 10提问于2020-02-11得票数 0
你好。你好吗？我目前正在遍历我的所有数据帧，并在它们上运行本质上相同的查询/过滤器。有没有一种方法可以更有效地并行运行？以下是示例代码... for (db <- list_of_dbs)
.format("csv") .option("inferSchema","true")
.option("header",&
浏览 18提问于2020-08-28得票数 0
val add_Gi = Info.withColumn("Gi",
(col("x") == minX || col("x") == maxX) && (col("y") == minY || col("y") == maxY) && (col("z") == minZ || col("z") == maxZ),
(lit(8.0) * col("count") - X_a
浏览 54提问于2021-06-30得票数 0
回答已采纳
1回答
原因如下：
org.apache.spark.sql.DataSet$RDDQueryExecution$序列化堆栈：(class:org.apache.spark.sql.DataSet$RDDQueryExecution$，值不可序列化的对象: org.apache.spark.sql.DataSet$RDDQueryExecution$@jfaf ) -field(class:org.apache.spark.sql.DataSet，名称:RDDQueryExecutionModule，类型: org.apa
浏览 0提问于2021-12-02得票数 0
让我说我有以下数据：val df = sc.parallelize(randomData,2).toDF()def trialIterator(row:Iterator[(String,Int)]): Iterator[(String,Int)] =
row.toArray.tail.toItera
浏览 0提问于2016-07-29得票数 4
回答已采纳
得到的错误如下所示，但我非常肯定我有正确的一面： (right: org.apache.spark.sql.DatasetjoinExprs: (right: org.apache.spark.sql.Dataset_],usi
浏览 0提问于2019-03-05得票数 0
回答已采纳
1回答
<console>:65: error: overloaded method value join with alternatives: (right: org.apache.spark.sql.Dataset_],usingColumns: Seq[String],joi
浏览 0提问于2018-06-07得票数 1
回答已采纳
我正在运行Spark快速入门应用程序： /* SimpleApp.java */import org.apache.spark.sql.Datasetand method filter(org.apache.spark.api.java.function.FilterFunction<T>) in org.apache.spark.sql.Datasetand method filter(org.apache.spark.api.java.f
浏览 136提问于2020-01-13得票数 6
我正在努力学习星火的数据集。有一件事我无法理解，那就是如何显示KeyValueGroupedDataset，因为show不适合它。另外，map对于KeyValuGroupedDataSet的等效性是什么？如果有人举几个例子，我将不胜感激。
浏览 1提问于2017-05-11得票数 9
回答已采纳
我有一个具有以下结构的Cassandra表： rowkey text, columnvalue text, )我的Spark数据集属于Dataset[Seq[(String, String, String)]]类型。
我希望将其转换为Dataset[(String, String, String)]，以便可以使用.rdd.saveToCassandra接口将其插入
浏览 22提问于2020-05-23得票数 0
回答已采纳
以下数据集比较测试失败，出现错误：
Error:(55, 38) Unable to find encoder for type org.apache.spark.sql.Dataset[(StringAn implicit Encoder[org.apache.spark.sql.Dataset[(String, Long)]] is needed to store org.apache.spark.sql.DatasetError:(55, 38) not enough arguments for method as: (implici
浏览 16提问于2020-04-17得票数 0
回答已采纳
2回答
我想在执行计算时启动许多任务，但在写入表时合并到一组较小的分区中。 下面给出了一个简单的演示示例，其中在执行过程中不支持重新分区。 我的预期输出是，map操作在100个分区中发生，而最终collect只在10个分区中发生。 Spark似乎通过忽略重新分区来优化了执行。如果有人能解释一下如何实现我的预期行为，那将是很有帮助的。 sc.parallelize(range(1,1000)).repartition(100).map(lambda x: x*x).coalesce(10).collect() ?
浏览 12提问于2019-06-15得票数 0
回答已采纳
userSchema)
但在最后一行(对于值文件)，我得到的编译时错误如下：
overloaded method value as with alternatives: (alias: Symbol)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] <and> (alias: String)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] <and> [U](implicit evidence$2: org.a
浏览 1提问于2018-09-24得票数 0
回答已采纳
alternatives: (func: org.apache.spark.sql.Row => Boolean)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] <and>
浏览 2提问于2017-10-23得票数 1
回答已采纳
1回答
Spark 2选项数据集
、、、
我有一个String数据集，我使用可能失败的函数将其解析为case类的Dataset (例如，如果我试图解析的数据不可用)。因此，该函数返回一个选项(Scala)。因此，我最终得到了一个OptionMyCaseClass数据集。下面是代码的一个示例，该代码就是这样做的： .map { record =>
浏览 3提问于2016-11-09得票数 2
回答已采纳
根据documentation的说法，如果这是一个“蜂窝元存储表”并且DataFrame大小小于10MB，则默认广播一个小的DataFrame。 如何在本地spark-shell中创建尚未计算统计数据的表？ 到目前为止，我在spark.read.csv、Seq(("SOF")).toDF("name")和spark.range(1000)上尝试了df df.join(df, Seq("name")).explain(true) 下面的所有数据帧都导致了broadcast join 如何制作一个不广播的“小”DataFrame (大小小于10MB
浏览 8提问于2019-09-17得票数 1
else {}type mismatch;[error] required: org.apache.spark.sql.Dataset
浏览 1提问于2017-12-06得票数 0
1回答
import org.apache.spark.api.java.function.Function;import org.apache.spark.sql.Dataset
浏览 0提问于2018-05-14得票数 3
2回答
")错误说： (right: org.apache.spark.sql.DatasetjoinExprs: org.apache.spark.sql.Column,joinType: String)org.apache.spark.sql.DataFrame <and>
(right: org.apache.spark.sql.Data
浏览 0提问于2017-07-26得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号