如何在pyspark dataframe中选择列和强制转换列类型？

from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import IntegerType, StringType

# 初始化SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()

# 假设我们有一个DataFrame df，它有几列，我们想要选择某些列并转换它们的类型
# 示例DataFrame创建
data = [("Alice", 1), ("Bob", 2), ("Cathy", 3)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)

# 选择列 "Name" 并保持其类型不变
# 强制转换列 "Age" 为 StringType 类型
df_new = df.select(col("Name"), col("Age").cast(StringType()))

# 显示结果
df_new.show()

# 假设我们有一个包含非数字字符的Age列
df = df.withColumn("Age", col("Age").cast(StringType()).replace("[^0-9]", "", regex=True))
df = df.withColumn("Age", col("Age").cast(IntegerType()))

# 使用cache()来缓存DataFrame以提高性能
df.cache()