我传入了一个参数fieldsToLoad: List[String]，如果这个列表是空的，我想加载所有列，如果列表有多个一列或多列，则只加载列表中指定的列。我现在有了这个，它读取列表中传递的列：但是，当列表为空时，我如何添加一个条
浏览 2提问于2018-08-18得票数 1
回答已采纳
7回答
这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了但这不起作用，因
浏览 21提问于2015-07-15得票数 22
回答已采纳
假设我有一个星火列列表和一个subdataframe，那么选择一个仅包含列表中列的subdataframe的适当代码片段是什么？可能类似于：我希望得到列的名称，然后使用下面的代码行选择它们。df.select(need
浏览 0提问于2018-10-09得票数 3
回答已采纳
1回答
我正在尝试找到一种使用List[ column，我正在分解一个列，而不是用我的分解列传回所有我感兴趣的列]来进行spark select的好方法。var columns = getColumns(x) // Returns a List[Column]试图找到一种好的方法
浏览 0提问于2016-10-07得票数 9
回答已采纳
如何在Spark 2.3Java中通过传递列表参数来选择dataset ds的多列？例如，这可以很好地工作：但是，这会失败：ds.select(co
浏览 3提问于2018-12-05得票数 7
1回答
在Scala Spark 2.0.1中，我试图在透视之后聚合多个列：df: org.apache.spark.sql.DataFrame = [a: int, b: int ... 2 more fields]
scala</e
浏览 3提问于2017-01-23得票数 3
回答已采纳
我有一个包含几个列的DataFrame，我想要使用它作为一个函数的输入，它将在每行产生多个输出，每个输出都进入一个新列。因此，假设我有一个DataFrame，其中包含address1、city和state列，我希望使用这三列的值作为输入，在所有行中应用上面的parser函数，并将每一行的输出存储为与字典相匹配的新列。: List[str]) ->StructType:
return StructType([StructField(col_name, StringType()
浏览 2提问于2020-08-23得票数 4
回答已采纳
8回答
我需要将这个dataframe分割成两个不同的dataframe，其中每个数据都包含来自原始dataframe的一组列。
如何根据列在星火数据中选择一个子集？
浏览 7提问于2018-08-04得票数 40
回答已采纳
但是，当JSON字符串不包含case class的所有必需字段时，我会得到一个异常，即找不到缺少的列。我尝试在case class中定义默认值，但这并没有解决问题。(List(jsonData))
val ds = spark.read.json(jsonRddString).as[SchemaClass]
当我运行这段代码时: cannot resolve '`b`' given in
浏览 2提问于2020-06-10得票数 0
回答已采纳
3回答
现在，我的关系数据库中有了300+列，但我发现需要动态选择一系列列，并将它们转换为LabledPoints数据类型。作为Spark的新手，我想知道是否有任何索引方法可以在RDD中选择列的范围。
浏览 0提问于2015-07-24得票数 6
1回答
接受未知列数的Spark UDF
、、、、
我有一个不同模式的spark数据帧列表。示例：# df1.columns = ['a', 'b']# df3.columns= ['a', 'b', 'c', 'd']
# df4.colum
浏览 4提问于2016-08-06得票数 3
回答已采纳
2回答
但是，我无法理解如何指定条件或联接列名。The left-side columns: [value]; at scala.collection.immutable.List.foldLeft(List.scala</
浏览 0提问于2018-03-27得票数 0
回答已采纳
1回答
).run_calculations()的特定选择上添加一些计算过的列
(在步骤3中，选择是必要的，否则使用withColumn语句添加一些计算字段需要很长时间。例如，我们成功地处理了作业，从75.430.000行和1.600列开始。当我们使用另一个包含较少行(50.000)和更多列(2.
浏览 2提问于2018-08-06得票数 1
4回答
在加入两个数据格式之后，我得到了许多重复的列，现在我想删除最后一个列，下面是我的printSchema |-- id: string (nullable = true) |-- test: string (nullable = true)现在我想删除最后两列test: string (nullable = true)我试过
浏览 0提问于2018-11-15得票数 1
回答已采纳
SEAConstant.STR_ROW_TAG, "Employee").option("nullValue", "").load("demo.xml")<
浏览 0提问于2019-06-25得票数 0
回答已采纳
1回答
Row(64, "mouse"), Row(null, "mouse"),)
我想计算每一列的倾斜度，每一列都有一个类似于数字类型的类型。val log1p = scala.math.log1p(_)
val log1pUDF = udf(scala.m
浏览 1提问于2019-05-16得票数 1
回答已采纳
如何在spark scala Dataframe中找到所有值都为null或NA值的列名列表？输出列表应包含B和C<
浏览 28提问于2019-07-16得票数 1
回答已采纳
1回答
import org.apache.spark.sql.functions._
allCols.toList.map
浏览 11提问于2019-10-28得票数 0
回答已采纳
我有两个不同列数的拼板文件，并试图将它们与下面的代码片段合并对于union()，我得到了错误：
Caused by: org.apache.spark.sql.AnalysisException: Unioncan only be performed on tables with the same number of col
浏览 2提问于2021-08-26得票数 2
回答已采纳
我有一个dataframe，它的列在400左右，我想根据我的要求删除100列。因此，我创建了一个Scala列表，其中包含100个列名。然后，我想迭代一个for循环，在每个for循环迭代中实际删除列。final val dropList: List[String] = List("Col1","Col2",...."
浏览 7提问于2016-09-30得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
