我有一个名为outLinks的数据集，它有两列，一个字符串列和一个数组列。当我像上面这样做(我使用ArrayType类)时，我得到了以下异常：当我使用常规的Java集合时： diff.map(r ->at
浏览 10提问于2017-12-09得票数 0
回答已采纳
我想使用spark Java API在Dataset上执行左外部连接。如何编写动态条件来匹配join条件中的多个列。 我有两个dataset对象。它们都有2列或更多列。我不能定义条件 将一列与另一列匹配的示例 dataSet = resultData.as("resultData").join(distinctData.as("dis
浏览 19提问于2019-04-23得票数 0
回答已采纳
如何在Spark应用程序中进行日志记录，而不触发logger语句中的操作？我希望能够做一些如下的事情： df = df
.logInfo("value is " + col("xyz)); 这在Java中是可能的吗？
浏览 18提问于2021-10-12得票数 0
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
我有杂志订阅和创建时间的数据，以及一个包含与给定用户关联的所有订阅到期日期数组的列： 202394 '2016-05-04' ['2019-1-03', '2018-10-06', '2018-07-05']
我正在尝试创建一个新<
浏览 21提问于2018-12-13得票数 2
- X_average*8.0) / ( S * math.sqrt( (8.0*numCells - math.pow(8.0, 2))/(numCells - 1.0) ) )[error] found : Boolean
[error] required: org.apache.spark.sql.Column我在本地scala上尝试了一个简单的dataframe，当我添加三个条件(使用
浏览 54提问于2021-06-30得票数 0
回答已采纳
1回答
我正在尝试使用类从textFile创建数据集。当我执行dataset.show()时，它显示所有空白，列长度显示0。代码：import org.apache.spark.api.java.JavaRDD;import org.
浏览 0提问于2018-09-12得票数 0
回答已采纳
是否有任何方法可以使用SparkSession？ 我是否可以使用单个条目完全替换所有上下文SparkSession？它们在如何使用SparkSession？ 我如何使用 a 创建以下内容SparkSession？RDDJavaPairRDD
Dataset 有没有一种方法可以将JavaPairRDD转换成一个Dataset或者Dataset转换成一个JavaPairRDD？
浏览 216提问于2017-05-05得票数 39
回答已采纳
1回答
如何在突触分析中为火花池设置有效的火花检查点目录？在中，我使用了以下方法(c#用于spark)：然而，在synapse上同样的事情也给出了警告：:68) at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3685) at org.apache.spark.sql.D
浏览 6提问于2022-07-15得票数 0
1回答
json文件中的一个属性是字符串数组。我希望运行一个查询，如果数组属性不包含字符串"None“，则该查询将选择行。我在array_contains包中找到了一些使用org.apache.spark.sql.functions方法的解决方案。我试图编译的代码：import org.apache.spark</e
浏览 7提问于2017-04-20得票数 1
回答已采纳
假设我创建了一个Spark作业(在Java中)，其中包含Spark代码(使用Dataset API)和非Spark代码。看起来Spark代码将被自动并行化并在多台机器上运行。Spark知道只在一台机器上运行regular-Java/non-Spark吗？
浏览 3提问于2017-12-08得票数 1
我有一个PySpark模式，它描述数据集的列及其类型(我可以手工编写这些数据集，也可以从现有的数据集获取，然后转到“PySpark”选项卡，然后“复制PySpark模式”)。
浏览 16提问于2022-08-18得票数 3
回答已采纳
我正在COL1上执行COL1，并使用concat_ws获取COL2的级联列表。我如何才能在这个列表中得到值的计数？这是我的密码： .concat_ws(",",org.apache.spark.sql.functions.collect_list
浏览 3提问于2017-11-27得票数 2
回答已采纳
我正在尝试将使用Dataframe编写的代码转换为DataSet应用程序接口。问题是我将JavaRDD创建为：但是sqlContext类的createDatasetEncoder<Abc> abcEncoder= Encoders.bean(Abc.class);
Dataset<Abc> abcDa
浏览 4提问于2018-07-14得票数 2
回答已采纳
我已经使用下面指定的withColumn尝试了这个解决方案： How to cast all columns of Spark dataset to string using Java 但是，解决方案会影响大量列或者，我尝试使用map进行强制转换，如下所示，但我在这里得到错误： MapFunction<Column, Column> mapFunction = (c) -> {};
浏览 29提问于2020-10-22得票数 0
回答已采纳
我在Databricks笔记本上使用Spark2.1和Scala2.11可以在SparkSQL的ScalaAPI中找到解析{"time":1469501297,"action":"Open&
浏览 1提问于2017-06-01得票数 7
回答已采纳
我想用java把两个数组合并成一个数组，并在spark 2.2中删除重复的数组。[1,2,3] | [2,3,5] Dataset.show
[1,2,3] | [2,3,5] |[1,2,3,5]
如何才能实现这个spark</e
浏览 2提问于2018-07-18得票数 0
我想用下面提到的数据在spark中创建一个表。那么，请您帮我一个人，如何读取2.1.1中嵌套的JSON记录，我将附加我的代码。
浏览 2提问于2019-03-05得票数 0
回答已采纳
需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。(TM)客户端VM警告:忽略选项MaxPermSize=300m；支持在8.0中被移除
// Read Input Dataset for countVectorizer Logic
val inp_data = spark.read
浏览 1提问于2017-09-05得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
