如何正确聚合某个产品主题数据集的社交媒体帖子与指定主题的销售数据集？

import pandas as pd

# 假设销售数据集为CSV格式
sales_data = pd.read_csv('sales_data.csv')

# 假设社交媒体帖子数据集为JSON格式
social_media_data = pd.read_json('social_media_data.json')

# 统一数据格式
social_media_data = social_media_data.rename(columns={'post_text': 'text', 'post_date': 'date'})

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataAggregation").getOrCreate()

sales_data_spark = spark.read.csv('sales_data.csv', header=True, inferSchema=True)
social_media_data_spark = spark.read.json('social_media_data.json')

# 进行数据聚合操作
aggregated_data = sales_data_spark.join(social_media_data_spark, on=['product_id', 'date'])

# 去除重复数据
sales_data.drop_duplicates(inplace=True)

# 填补缺失值
sales_data.fillna(0, inplace=True)