在spark中遍历csv文件的最佳方法

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("CSV Processing").getOrCreate()

df = spark.read.csv("path/to/csv/file.csv", header=True, inferSchema=True)

# 显示DataFrame的前几行
df.show()

# 获取DataFrame的列名
df.columns

# 获取DataFrame的行数
df.count()

# 过滤数据
filtered_df = df.filter(df["column_name"] > 10)

# 聚合数据
aggregated_df = df.groupBy("column_name").agg({"column_name": "sum"})

# 排序数据
sorted_df = df.orderBy("column_name")

# 选择特定的列
selected_df = df.select("column_name")

# 添加新列
new_df = df.withColumn("new_column", df["column_name"] + 1)

spark.stop()