Pyspark配置处理超过10 gb的多个gzip文件(单个文件大小约为500mb)

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("gzip_processing").getOrCreate()

spark.conf.set("spark.executor.memory", "4g")  # 设置每个执行器的内存大小
spark.conf.set("spark.driver.memory", "2g")  # 设置Driver进程的内存大小
spark.conf.set("spark.sql.execution.arrow.enabled", "true")  # 启用Apache Arrow优化

df = spark.read.text("path/to/gzip/files/*.gz")

# 示例：统计文件中的行数
line_count = df.count()

df.show()  # 打印DataFrame中的数据
df.write.csv("path/to/output.csv")  # 将DataFrame保存为CSV文件