如何使用MD5报头将spark数据帧写入S3？

import hashlib

# 假设df是你的Spark数据帧
md5_hash = hashlib.md5(df.toJSON().collect()[0].encode()).hexdigest()

import boto3

# 创建S3客户端对象
s3 = boto3.client('s3')

# 假设bucket是你的S3存储桶名称，key是要写入的对象键
bucket = 'your-bucket'
key = 'your-object-key'

# 将数据帧写入S3存储桶，并添加MD5哈希值到元数据中
s3.put_object(
    Bucket=bucket,
    Key=key,
    Body=df.toJSON().collect()[0].encode(),
    Metadata={'md5': md5_hash}
)