在Spark中,可以使用na.fill()
方法来设置列中的NULL值为默认值。该方法接受一个字典作为参数,其中键是要填充的列名,值是要填充的默认值。
以下是一个示例代码:
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据集
data = [("Alice", 25, None),
("Bob", 30, None),
("Charlie", None, None)]
# 创建DataFrame
df = spark.createDataFrame(data, ["name", "age", "gender"])
# 设置默认值
default_values = {"age": 0, "gender": "Unknown"}
df_filled = df.na.fill(default_values)
# 显示填充后的结果
df_filled.show()
输出结果如下:
+-------+---+-------+
| name|age| gender|
+-------+---+-------+
| Alice| 25|Unknown|
| Bob| 30|Unknown|
|Charlie| 0|Unknown|
+-------+---+-------+
在上述示例中,我们使用na.fill()
方法将列"age"和"gender"中的NULL值分别填充为0和"Unknown"。你可以根据实际需求设置不同的默认值。
腾讯云相关产品中,可以使用TencentDB for Apache Spark来进行Spark的数据处理和分析。你可以在腾讯云官网上了解更多关于TencentDB for Apache Spark的信息。
领取专属 10元无门槛券
手把手带您无忧上云