如何枚举Spark的DataFrame中的列？如果列是嵌套的呢？
在Spark中，可以使用columns属性来枚举DataFrame中的列。该属性返回一个包含所有列名的数组。
以下是一个示例代码：
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 读取数据并创建DataFrame
df = spark.read.csv("data.csv", header=True, inferSchema=True)
# 枚举DataFrame中的列
columns = df.columns
print(columns)对于嵌套列，可以使用select方法来选择嵌套列，并使用alias方法为列指定别名。然后，可以使用columns属性来枚举嵌套列的别名。
以下是一个示例代码：
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 读取数据并创建DataFrame
df = spark.read.json("data.json")
# 选择嵌套列并为列指定别名
df = df.select("nested.column1.alias1", "nested.column2.alias2")
# 枚举嵌套列的别名
columns = df.columns
print(columns)请注意，以上示例代码仅为演示目的，实际使用时需要根据具体情况进行调整。
相关·内容
那该怎么做呢？for row in rows:
conn.commit() 它发誓 AttributeError: items 如果行是嵌套的怎么办
浏览 15提问于2021-04-08得票数 0
回答已采纳
我正在从具有嵌套列(struct)的拼图文件中读取数据帧。如何检查是否存在嵌套列？可能是这样的 +----------------------++----------------------++---------------------++--
浏览 21提问于2019-03-14得票数 5
回答已采纳
1回答
Parquet文件的文档表明它可以存储/处理嵌套数据类型。然而，我找不到更多关于最佳做法/陷阱/.的信息。将这些嵌套数据类型存储到Parquet时。我正在考虑以下情况：
I使用PySpark (Spark3.3)将我的星火DataFrame存储到一个Delta文件(该文件在罩下使用Parquet文件)。DataFrame DataFrame有一个嵌套的数据类型( Str
浏览 2提问于2022-11-11得票数 1
1回答
有人熟悉spark来查询嵌套的数据吗？爆炸()作用是正确的吗？代码应该是什么样子的？我想查询myData-> productData (数组)->data(字符串)
我的错误代码在这里，我不确定的选择部分。有人能帮忙吗？非常感谢!data = spark.read.parquet("s3:path").filter("Btype == 'a' and marketplaceId = 1&qu
浏览 6提问于2022-12-01得票数 0
回答已采纳
(ClusteringDSPOC.java:45)我的代码是importorg.apache.spark.ml.clustering.KMeans;import org.apache.spark.sql.Dataset当fit方法是called.Plea
浏览 2提问于2017-06-13得票数 2
1回答
我正在尝试找到一种使用List[ column，我正在分解一个列，而不是用我的分解列传回所有我感兴趣的列]来进行spark select的好方法。var columns = getColumns(x) // Returns a List[Column]试图找到一种好的方法，我知道，如果它是一个字符串，我可以这样做
val resu
浏览 0提问于2016-10-07得票数 9
回答已采纳
1回答
我想得到DataFrame的所有列。如果DataFrame具有平坦的结构(没有嵌套的StructTypes)，df.columns会产生正确的结果。我也想返回所有嵌套的列名，例如。给定的 StructField("name", StringType) ::
StructField("nameSe
浏览 0提问于2018-03-13得票数 0
回答已采纳
1回答
我正在使用microsoft.spark版本1.0.0来处理从网络接收到的一个parquet文件。我已经将包文件映射到一个数据帧中，并且我正在尝试从存储为电子邮件地址的userid列中剥离别名(用户testuser保存为testuser@gmail.com)。似乎找不到如何将列转换为可枚举的方法，并且没有内置的方式来迭代列。任何指针都会有帮助。dataframe.
浏览 29提问于2020-12-04得票数 0
回答已采纳
1回答
现在，在第二阶段，我试图在databricks中读取pyspark dataframe中的parquet文件，并面临将嵌套的json列转换为适当列的问题。首先，我使用以下命令从S3读取拼图数据：我的pyspark dataframe中的</
浏览 8提问于2022-06-07得票数 0
1回答
我使用Spark窗口函数row_number()为具有嵌套结构的复杂DataFrame生成ID。然后，我提取DataFrame的一部分以创建多个表作为输出，其中包括这个键。但是，Spark只会在操作被触发时物化该表，所以当提取的表保存到HDFS中时，它最终会生成ID。另一方面，在处理大型DataFrames和转换时，Spark可能会打乱数据，从而更改row_number()可能生成的值。因为我从单个
浏览 1提问于2017-11-21得票数 1
1回答
我想要一个pyspark dataframe所有元数据字段的列，但也有一个列，其条目是(整个) CSV文件与每组元数据相关联。outer_pandas_df = pd.DataFrame.from_dict({"A":[1,2,3],"B":[4,5,6]})
## 0 1, schema=outer_schema)
浏览 2提问于2016-11-17得票数 0
在“火花:最终指南”中，它说：
df.col("count")
但是，当我在包含列count的dataframe上运行后的代码时，就会得到错误'DataFrame' object
浏览 2提问于2018-08-12得票数 9
1回答
我正在尝试创建一个具有嵌套结构的DataFrame。因此，首先我创建了包含所有列(甚至包括将要包含在嵌套结构中的列)的DataFrame。var df = spark.read.text(inputFile)
.select(substring(col("value"), 41, 1).alias("carrier"),然后我有一个case类来
浏览 1提问于2018-09-25得票数 0
我正在使用Scala中的Spark，希望将现有的数据集(dataframe)转换为包含嵌套结构的新表。columnB columnC columnD columnE 示例输出: columnA columnB columnC columnF:{columnD，columnE} (创建一个同时包含D和E作为嵌套结构的新列) 转换columnA-C很简单，因为我可以使用.withColumn()，但是我不确定如何指定新<
浏览 25提问于2021-08-12得票数 0
5回答
.*”时，为所有列设置前缀
、、、、
下面的dataframe是一个名为'table_name‘的temp_table。返回名为a、b、c.的列，但是如何使它们看起来像pre_a、pre_b、pre_c？如果我有30列呢？
我希望定制的UDF能够解
浏览 2提问于2020-01-29得票数 4
回答已采纳
我有以下对象，它模仿枚举： val JobSeekerID = "JobSeekerID" val BehaviorType = "BehaviorType" 然后，我想按列对DF进行分组。以下内容未进行汇编：<em
浏览 2提问于2018-01-11得票数 2
回答已采纳
1回答
如果我试图缓存一个巨大的DataFrame (例如:100 to表)，当我对缓存的DataFrame执行查询时，它会执行完整的表扫描吗？星星之火将如何索引数据。星火文件说：
Spark可以通过调用spark.catalog.cacheTable("tableName")或dataFrame.cache()来使用内存中的列格式来缓存表。然后，<
浏览 8提问于2017-08-14得票数 2
我试图使用Pyspark在dataframe中更改一个列，也就是跨行对单个列的所有值进行洗牌。我试图避免这样的解决方案，即在将列拆分并分配索引列之前，将其重新连接到原始的dataframe，而原始dataframe也有一个添加的索引列。主要是因为我的理解(这可能是非常错误的)，在大型数据集(数百万行)的运行时，
浏览 0提问于2019-06-06得票数 0
我想出了如何获得一个Spark来提前返回已知的固定数量的列。但是，Spark如何返回每个行可能不同的任意数量的列呢？我在Java17中使用Spark3.3.0，假设我有一个包含100万人的DataFrame。对于每个人，我想查找每年的工资(例如从一个数据库)，但每个人可能有不同年份的薪水。那么
浏览 3提问于2022-09-10得票数 2
如何以最有效的方式在德尔塔湖的两列之间切换名称？让我们假设我有以下列：我想换个名字，有：首先，我重命名了两列： .mode("overwrite") \ .saveAsTable("table”&qu
浏览 1提问于2021-11-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
