如何从pyspark中的dataframe列中选择不同的非空值

在pyspark中，可以使用filter函数从DataFrame列中选择不同的非空值。

首先，我们需要创建一个示例DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [("Alice", 25, "Engineer"),
        ("Bob", None, "Developer"),
        ("Charlie", 30, None),
        (None, 35, "Manager")]

df = spark.createDataFrame(data, ["Name", "Age", "Job"])
df.show()

输出结果为：

+-------+----+---------+
|   Name| Age|      Job|
+-------+----+---------+
|  Alice|  25| Engineer|
|    Bob|null|Developer|
|Charlie|  30|     null|
|   null|  35|  Manager|
+-------+----+---------+

接下来，我们可以使用filter函数来选择非空值。使用isNotNull函数来检查列中的值是否为非空值：

# 选择非空值
filtered_df = df.filter(col("Name").isNotNull() & col("Age").isNotNull() & col("Job").isNotNull())
filtered_df.show()

输出结果为：

+-----+---+--------+
| Name|Age|     Job|
+-----+---+--------+
|Alice| 25|Engineer|
+-----+---+--------+

在这个例子中，我们使用filter函数结合isNotNull函数来选择所有列都不为空的行。

如果你想选择至少有一个非空值的行，可以使用isNotNull函数的|操作符：

# 选择至少有一个非空值的行
filtered_df = df.filter(col("Name").isNotNull() | col("Age").isNotNull() | col("Job").isNotNull())
filtered_df.show()

输出结果为：

+-------+----+---------+
|   Name| Age|      Job|
+-------+----+---------+
|  Alice|  25| Engineer|
|    Bob|null|Developer|
|Charlie|  30|     null|
|   null|  35|  Manager|
+-------+----+---------+

这样就可以选择所有至少有一个非空值的行。

总结起来，从pyspark中的DataFrame列中选择不同的非空值，可以使用filter函数结合isNotNull函数来实现。