用总行和列计数PySpark数据帧中的空值
在PySpark中，我们可以使用isNull()和isNotNull()函数来检查数据帧中的空值。为了计算每列和每行中的空值数量，我们可以使用agg()函数和sum()函数。
要计算每列中的空值数量，可以使用以下代码：
from pyspark.sql.functions import col, sum
# 假设数据帧名为df
null_counts = df.agg(*[sum(col(c).isNull().cast("int")).alias(c) for c in df.columns])
# 打印每列中的空值数量
null_counts.show()要计算每行中的空值数量，可以使用以下代码：
from pyspark.sql.functions import col
# 假设数据帧名为df
null_counts = df.withColumn("null_count", sum(col(c).isNull().cast("int") for c in df.columns))
# 打印每行中的空值数量
null_counts.show()这样，我们就可以得到每列和每行中的空值数量。
关于PySpark的更多信息和使用方法，可以参考腾讯云的PySpark产品介绍页面：PySpark产品介绍
相关·内容
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count
df_Columns=["
浏览 5提问于2022-06-26得票数 0
1回答
我正在尝试使用PySpark编写一个查询来计算大型数据帧中的所有null值。在读取数据集后，我执行以下操作： import pyspark.sql.functions as F
df_agg = df.agg(*[F.count(F.when(F.isnull(c), c))total_rows和total_columns数据帧的末尾添加两列，以便在写入.csv
浏览 17提问于2020-03-28得票数 0
回答已采纳
1回答
我有一个列名和一个数据帧。我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似
浏览 0提问于2019-08-09得票数 0
3回答
如何在pyspark中检测空列
、、、、
我有一个定义了一些空值的数据帧。某些列是完全空值。D||1.0|4.0|7.0|null||3.0|6.0|5.0|null|在我的例子中，我想返回一个列名的列表，这些列名中填充了null值。我的想法是检测常量列</em
浏览 1提问于2017-11-23得票数 2
回答已采纳
在PySpark中是否有与pandas info()方法等效的方法？我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
我有一个数据帧(testdf)，希望在另一列(booking/rental)不为null或非空(即“”)的列(memid)上获得计数和非重复计数。testdf100 Y 120 Y预期结果：(对于预订列不为空/非空)= "
浏览 44提问于2018-06-05得票数 0
2回答
我需要找出pyspark dataframe中所有列中0的百分比。如何在数据帧中找到每一列的零计数？
附言:我尝试过将数据帧转换为pandas数据帧，并使用了value_counts。但是，对于大型数据集来说，推断它的观察值是不可能的。
浏览 0提问于2018-08-20得票数 4
1回答
当我试图用数据帧做一些事情时，我总是会得到一个java.lang.NullPointerException错误。导致它的行是这个df_3 = df_2.groupBy("id").pivot("key").agg(collect_list("value"))。
我知道数据框架中没有空值，并对此进行了验证。我甚至尝试在df_2列中筛选特定值的
浏览 2提问于2020-07-06得票数 2
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数<
浏览 24提问于2021-09-08得票数 0
我在Pyspark中有一个dataframe，我想在其上计算列中的空值和这些列的不同值，即非空值 这是我拥有的数据帧 trans_date transaction_id transaction_id11 12016-01-01
浏览 74提问于2019-05-22得票数 0
回答已采纳
1回答
我使用PySpark将数据帧写入CSV文件，如下所示： df.write.csv(PATH, nullValue='') 该数据帧中有一个字符串类型的列。其中一些值为空。这些空值如下所示： ...,"",... 我希望它们像这样显示： ...,,... 使用csv.write()中的选项可以做到这一点吗？ 谢谢!
浏览 44提问于2019-08-30得票数 3
回答已采纳
尝试弄清楚如何用空值随机替换Pyspark中的特定列。因此，像这样更改数据帧： | A | B || 1 | 2 || 5 | 6 || 9 | 10 |
| 11| 12 | 并将列'B‘中25%的值随机更改为空值： | A | B |
浏览 29提问于2020-09-18得票数 2
回答已采纳
1回答
有人能解释一下为什么spark这样做是有意义的吗？----+-------------+>>> df.filter('COLUMN_A is null').count()我认为它在解析某些行(数据文件中没有空行，这是csv)时会出错，但它会“清空”行，而不是失败，并且还从count()等函数中隐藏了错误。有趣的是，如果我将df写入磁盘(就像使用检查点一样)，那么空值就会显示出
浏览 1提问于2020-11-04得票数 0
使用Pyspark的内部联接不适用于使用分区csv、常规csv和SQL表创建的数据帧。例如:当我尝试在使用分区csv (存储在ADLS中)和普通csv创建的数据帧上应用内部联接时，输出df是用空值创建的，但当我在常规csv上创建的数据帧上联接时，它工作得很好。在databri
浏览 24提问于2019-12-19得票数 0
我有一个这样的桌子结构：abc_xxx 1 200 null1 0 3 40我需要从以下信息中提取以下信息：
每组的总行数计数每组包含空值的行数计数每组零值的<
浏览 5提问于2022-07-20得票数 0
回答已采纳
我有一个二维PySpark数据框架，如下所示：---------- | ----09/31/2018 | 1009/01/2018 | null我希望通过查找过去最接近的值来替换ID空值，或者如果该值是空的</
浏览 0提问于2019-02-02得票数 0
回答已采纳
2回答
我有一个非常宽的数据帧> 10,000列，我需要计算每个列中空值的百分比。现在我正在做的是：for c in df_a.columns[:]: # print(c)当然，这是一个缓慢的过程，有
浏览 0提问于2017-09-24得票数 1
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
1回答
我有一个如下形式的Spark Dataframe： +------+-------+-----+--------++------+-------+-----+--------+ 我尝试按" year“对所有值进行分组，并每年统计每列中缺少的值的数量。我找到了以下代码片段(忘记是从哪里来的)： df.select(*(sum(col(c).isNull().cast("
浏览 13提问于2019-03-21得票数 5
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所
浏览 16提问于2020-12-30得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
