从spark dataframe中删除具有相同值的重复列

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [("Alice", 25, 165), ("Bob", 30, 175), ("Alice", 25, 165)]
df = spark.createDataFrame(data, ["name", "age", "height"])

# 获取DataFrame的所有列名
columns = df.columns

# 创建空的列名列表
duplicate_columns = []

# 遍历DataFrame的所有列
for column in columns:
    # 判断是否存在其他具有相同值的列
    if len(df.select(column).distinct().collect()) == 1:
        # 删除重复列
        df = df.drop(column)
        # 将列名添加到列名列表中
        duplicate_columns.append(column)

# 打印删除重复列后的DataFrame
df.show()

# 打印被删除的重复列名
print("Duplicate columns removed:", duplicate_columns)