如何去除pyspark中的特殊字符，unicode表情包？

import re
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

def remove_special_chars(text):
    pattern = r'[^a-zA-Z0-9\s]'
    return re.sub(pattern, '', text)

# 定义一个UDF(user-defined function)，用于在DataFrame中应用remove_special_chars函数
remove_special_chars_udf = udf(remove_special_chars, StringType())

# 假设有一个DataFrame名为df，包含一个名为text的列，需要去除特殊字符
# 使用withColumn函数将处理后的结果存储到新的列clean_text中
df = df.withColumn("clean_text", remove_special_chars_udf(df["text"]))

# 查看处理后的结果
df.show()

import re
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

def remove_unicode_emojis(text):
    pattern = re.compile(
        u"(\ud83d[\ude00-\ude4f])|"
        u"(\ud83c[\udf00-\uffff])|"
        u"(\ud83d[\u0000-\uddff])|"
        u"(\ud83d[\ude80-\udeff])|"
        u"(\ud83c[\udde0-\uddff])"
        "+",
        flags=re.UNICODE
    )
    return pattern.sub(r'', text)

# 定义一个UDF(user-defined function)，用于在DataFrame中应用remove_unicode_emojis函数
remove_unicode_emojis_udf = udf(remove_unicode_emojis, StringType())

# 假设有一个DataFrame名为df，包含一个名为text的列，需要去除包含特殊unicode字符的文本
# 使用withColumn函数将处理后的结果存储到新的列clean_text中
df = df.withColumn("clean_text", remove_unicode_emojis_udf(df["text"]))

# 查看处理后的结果
df.show()