我目前正在使用Apache Spark 2.1.1将XML文件处理成CSV。我的目标是扁平化XML，但我目前面临的问题是元素的无限出现。Spark自动将这些未绑定的事件推断为数组。现在我要做的是分解一个数组列。但我想生成的输出是将其分解成多列，而不是行。假设数组中有两个结构值。
浏览 1提问于2018-01-17得票数 2
3回答
我有一个多列的org.apache.spark.sql.DataFrame。我希望使用lat_long_dist规范化或任何技术来缩放1列( MinMax )，将数据扩展到-1和1之间，并将数据类型保留为org.apache.spark.sql.DataFrame。scala> val df = sqlContext.csvFile("tenop.csv")
df: org.apache.<
浏览 2提问于2015-11-25得票数 10
回答已采纳
1回答
，我需要获取一个Spark dataframe，它只包含列表中所有列的一行。我正在尝试用返回org.apache.spark.rdd.RDD[Any] = ParallelCollectionRDD[5834] at parallelize at <console>:81的sc.parallelize：sc.parallelize(myList).map(line => line(0))返回error: Any does not take parameters
而且我也不能使用toDF(
浏览 2提问于2018-09-26得票数 1
7回答
这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了但这不起作用，因为
不能将org.apac
浏览 21提问于2015-07-15得票数 22
回答已采纳
1回答
我使用火花SQLContext读取数据，并将其存储在一个变量中：然后，我希望使用select选择所有值，如下所示：但这行不通。somevar.registerTempTable("sometable")
但我不想做以前的事。
浏览 2提问于2017-03-03得票数 1
回答已采纳
1回答
我正在尝试找到一种使用List[ column，我正在分解一个列，而不是用我的分解列传回所有我感兴趣的列]来进行spark select的好方法。List[Column]试图找到一种好的方法，我知道，如果它是一个字符串，我可以这样做
val result = dataframe.select
浏览 0提问于2016-10-07得票数 9
回答已采纳
1回答
就像下面的那个res3: org.apache.spark.sql.DataFramepredict_churn", outerpredict _)java.lang.UnsupportedOperationException: Schema for type org.apache.spark.sql.Dat
浏览 3提问于2016-12-20得票数 3
回答已采纳
1回答
这里的变量"exprs“是列类型的(即exprs: Array[org.apache.spark.sql.Column] = Array(sum(country), sum(value), sum(price", 5, 1), .toDF()
val exprs = data.columns.map(sum(_)) // here it returns exprs: Array[org.apache.spark.sql.Column
浏览 56提问于2020-03-29得票数 0
1回答
我想把数据库中的org.apache.spark.sql.DataFrame 转换成 org.apache.spark.rdd.RDD[(String, String)] ，有人能帮上忙吗？背景(更好的解决方案也是受欢迎的)：我有一个Kafka流，它(经过一些步骤)变成了一个2列数据框架。我想把它放到Redis缓存中，第一列作为键，第二列作为值。更具体地说，输入的类型是：lastContacts: org.apache.spa
浏览 0提问于2019-03-25得票数 0
回答已采纳
2回答
我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。,exprs: org.apache.spark.sql.Column*)org.apache.spark.sql.DataFrame <and>
(exprs: java.util.Map[String,String])org.apache.spark
浏览 2提问于2018-09-04得票数 0
1回答
at org.apache.spark.sql.DataFrame$$anonfun$org$apache$spark$sql$DataFrame$$execute$1$1.apply(DataFrame.scala2086)
at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame</
浏览 1提问于2017-11-27得票数 0
回答已采纳
1回答
我正在dataframe1中读取CSV文件，然后在dataframe2中筛选一些列，在从dataframe1中选择dataframe2列时，我想将我的函数应用到列值上。notebook:5: error: overloaded method value select with alternatives:
(col: String,cols: String*)org.apache.spark.sql.DataFrame</e
浏览 0提问于2018-11-04得票数 0
回答已采纳
我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。我试过这样做， """ pivot (exploded) ).show
例外情况：
浏览 0提问于2020-05-11得票数 4
回答已采纳
我在Scala中的Spark dataframe中有一个列，它是使用以下命令聚合多列后生成的 agg(collect_list(struct(col(abc), col(aaa)).as(def)我希望将此列传递给UDF进行进一步处理，以便处理此聚合列中的一个索引。: SeqRow) ) 我得到了错误： Exception encountered when invoking run on a nested suite - Schema for type org.apache</
浏览 21提问于2021-10-19得票数 1
回答已采纳
我有一个包含许多列的spark.ml DataFrame，每列中的每一行都包含一个SparseVector。除了我似乎不能从该DataFrame中select一列并将其转换为RDD[Vector]。这是我的尝试：val col = df.as[(org.apache.spark.mllib.linalg.Vector)].rdd val
浏览 0提问于2017-02-16得票数 0
TenderType, TenderedAmount, TransactionStatus, TransactionType, hasLineItems, Ready.minus.In.mins);at org.apache.spark.sql.DataFrame$$anonfun$resolve$1.appl
浏览 2提问于2015-12-29得票数 0
似乎他们都返回了一个新的DataFramedef toDF(self, *cols): return DataFrame(jdf, self.sql_ctx)
jdf = self._jcols(*cols))
return DataFrame(jdf, self.sql_ctx)
浏览 1提问于2016-12-16得票数 4
回答已采纳
我有两个不同列数的拼板文件，并试图将它们与下面的代码片段合并// dataSetParquet1.union(dataSetParquet2);Caused by: org.apache.spark.sql.AnalysisException: Cannot reso
浏览 2提问于2021-08-26得票数 2
回答已采纳
我对scala和Spark2.1非常陌生。Matrix = Statistics.corr(items, "pearson")<console>:89: error: type mismatch; required: org.apache.spark.rdd.RDD[org.apache.spark.mllib.lina
浏览 6提问于2017-02-20得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号