首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何按特定列分组,然后在不是NA的地方获取多个列的计数,并将它们添加到Pandas Python中?

在Pandas中,可以使用groupby方法按特定列进行分组,然后使用count方法获取多个列的计数,并将结果添加到DataFrame中。

下面是一个示例代码:

代码语言:txt
复制
import pandas as pd

# 创建一个示例DataFrame
data = {'A': [1, 2, 3, 4, 5],
        'B': [1, 1, 2, 2, 2],
        'C': [1, 2, pd.NA, 4, pd.NA],
        'D': [1, pd.NA, pd.NA, 4, 5]}
df = pd.DataFrame(data)

# 按列'B'进行分组,并计算列'C'和列'D'的非NA值的计数
result = df.groupby('B').agg({'C': lambda x: x.count(), 'D': lambda x: x.count()})

# 将计数结果添加到原DataFrame中
df['C_count'] = df['B'].map(result['C'])
df['D_count'] = df['B'].map(result['D'])

print(df)

输出结果如下:

代码语言:txt
复制
   A  B    C    D  C_count  D_count
0  1  1    1    1        2        2
1  2  1    2  NaN        2        2
2  3  2  NaN  NaN        3        3
3  4  2    4    4        3        3
4  5  2  NaN    5        3        3

在这个例子中,我们按列'B'进行分组,然后使用agg方法计算列'C'和列'D'的非NA值的计数。最后,使用map方法将计数结果添加到原DataFrame中的新列'C_count'和'D_count'中。

这个方法适用于任意多个列的计数,并且可以根据实际需求进行修改。对于Pandas的更多操作和用法,可以参考Pandas官方文档

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

手把手教你做一个“渣”数据师,用Python代替老情人Excel

请按照以下链接下载数据,并将其放在与存储Python文件的同一文件夹中。...Python提供了许多不同的方法来对DataFrame进行分割,我们将使用它们中的几个来了解它是如何工作的。...2、查看多列 ? 3、查看特定行 这里使用的方法是loc函数,其中我们可以指定以冒号分隔的起始行和结束行。注意,索引从0开始而不是1。 ? 4、同时分割行和列 ? 5、在某一列中筛选 ?...11、在Excel中复制自定义的筛选器 ? 12、合并两个过滤器的计算结果 ? 13、包含Excel中的功能 ? 14、从DataFrame获取特定的值 ?...五、数据计算 1、计算某一特定列的值 输出结果是一个系列。称为单列数据透视表: ? 2、计数 统计每列或每行的非NA单元格的数量: ? 3、求和 按行或列求和数据: ? 为每行添加总列: ?

8.4K30

最全面的Pandas的教程!没有之一!

交叉选择行和列中的数据 我们可以用 .xs() 方法轻松获取到多级索引中某些特定级别的数据。比如,我们需要找到所有 Levels 中,Num = 22 的行: ?...清洗数据 删除或填充空值 在许多情况下,如果你用 Pandas 来读取大量数据,往往会发现原始数据中会存在不完整的地方。...分组统计 Pandas 的分组统计功能可以按某一列的内容对数据行进行分组,并对其应用统计函数,比如求和,平均数,中位数,标准差等等… 举例来说,用 .groupby() 方法,我们可以对下面这数据表按...同时,我们可以传入多个 on 参数,这样就能按多个键值进行归并: ? image 连接(Join) 如果你要把两个表连在一起,然而它们之间没有太多共同的列,那么你可以试试 .join() 方法。...Pandas 的数据透视表能自动帮你对数据进行分组、切片、筛选、排序、计数、求和或取平均值,并将结果直观地显示出来。比如,这里有个关于动物的统计表: ?

26K64
  • Python pandas十分钟教程

    Pandas是数据处理和数据分析中最流行的Python库。本文将为大家介绍一些有用的Pandas信息,介绍如何使用Pandas的不同函数进行数据探索和操作。...import pandas as pd pandas在默认情况下,如果数据集中有很多列,则并非所有列都会显示在输出显示中。...要选择多个列,可以使用df[['Group', 'Contour', 'Depth']]。 子集选择/索引:如果要选择特定的子集,我们可以使用.loc或.iloc方法。...数据清洗 数据清洗是数据处理一个绕不过去的坎,通常我们收集到的数据都是不完整的,缺失值、异常值等等都是需要我们处理的,Pandas中给我们提供了多个数据清洗的函数。...Pandas中提供以下几种方式对数据进行分组。 下面的示例按“Contour”列对数据进行分组,并计算“Ca”列中记录的平均值,总和或计数。

    9.8K50

    python数据分析——数据分类汇总与统计

    本文将介绍如何使用Python进行数据分类汇总与统计,帮助读者更好地理解和应用数据。 首先,我们需要导入一些常用的Python库,如pandas、numpy和matplotlib等。...在实际的数据分析过程中,我们可能需要对数据进行清洗、转换和预处理,以满足特定的分析需求。Python提供了丰富的数据处理工具,如数据清洗、缺失值处理、异常值检测等,使得数据分析过程更加高效和准确。...第一个阶段,pandas对象中的数据会根据你所提供的一个或多个键被拆分(split)为多组。拆分操作是在对象的特定轴上执行的。...我们可以用分组平均值去填充NA值: 也可以在代码中预定义各组的填充值。由于分组具有一个name属性,所以我们可以拿来用一下: 四、数据透视表与交叉表 4.1....关键技术:在pandas中透视表操作由pivot_table()函数实现,其中在所有参数中,values、index、 columns最为关键,它们分别对应Excel透视表中的值、行、列。

    82910

    从Excel到Python:最常用的36个Pandas函数

    本文为粉丝投稿的《从Excel到Python》读书笔记 本文涉及pandas最常用的36个函数,通过这些函数介绍如何完成数据生成和导入、数据清洗、预处理,以及最常见的数据分类,数据筛选,分类汇总,透视等最常见的操作...列当前的均值,然后使用这个均值对NA进行填充。...Python中需要使用ort_values函数和sort_index函数完成排序 #按特定列的值排序 df_inner.sort_values(by=['age']) ?...4.数据分组 Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组,或者使用“数据透视表”来完成分组 Python中使用Where函数用来对数据进行判断和分组 #如果price列的值>3000...还可以对多个字段的值进行判断后对数据进行分组,下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。

    11.5K31

    手把手 | 如何用Python做自动化特征工程

    我们可以通过查找joined列的月份或是获取income列的自然对数来创建特征。这些都是转换,因为它们仅使用来自一个表的信息。...,并使用一对多的关系对观测值进行分组,然后计算统计数据。...此过程包括通过客户信息对贷款表进行分组,计算聚合,然后将结果数据合并到客户数据中。以下是我们如何使用Pandas库在Python中执行此操作。...将数据框添加到实体集后,我们检查它们中的任何一个: 使用我们指定的修改模型能够正确推断列类型。接下来,我们需要指定实体集中的表是如何相关的。...我们已经知道它们是什么了,但我们刚刚用不同的名字来称呼它们!这些只是我们用来形成新功能的基本操作: 聚合:基于父表与子表(一对多)关系完成的操作,按父表分组,并计算子表的统计数据。

    4.3K10

    《Python for Excel》读书笔记连载12:使用pandas进行数据分析之理解数据

    引言:本文为《Python for Excel》中第5章Chapter 5:Data Analysis with pandas的部分内容,主要讲解了pandas如何对数据进行描述性统计,并讲解了将数据聚合到子集的两种方法...在数据框架的所有行中获取统计信息有时不够好,你需要更细粒度的信息,例如,每个类别的均值,这是下面的内容。 分组 再次使用我们的示例数据框架df,让我们找出每个大陆的平均分数。...为此,首先按洲对行进行分组,然后应用mean方法,该方法将计算每组的均值,自动排除所有非数字列: 如果包含多个列,则生成的数据框架将具有层次索引,即我们前面遇到的多重索引: 可以使用pandas提供的大多数描述性统计信息...例如,下面是如何获得每组最大值和最小值之间的差值: df.groupby(["continent"]).agg(lambdax: x.max() - x.min()) 在Excel中获取每个组的统计信息的常用方法是使用透视表...最后,margins与Excel中的总计(GrandTotal)相对应,即如果不使用margins和margins_name方式,则Total列和行将不会显示: 总之,数据透视意味着获取列(在本例中为

    4.3K30

    9个value_counts()的小技巧,提高Pandas 数据分析效率

    生成的Series可以按降序或升序排序,通过参数控制包括或排除NA。 在本文中,我们将探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。...默认参数 按升序对结果进行排序 按字母顺序排列结果 结果中包含空值 以百分比计数显示结果 将连续数据分入离散区间 分组并调用 value_counts() 将结果系列转换为 DataFrame 应用于DataFrame...默认情况下,结果系列按降序排列,不包含任何 NA 值。例如,让我们从 Titanic 数据集中获取“Embarked”列的计数。...一个常见的用例是按某个列分组,然后获取另一列的唯一值的计数。例如,让我们按“Embarked”列分组并获取不同“Sex”值的计数。...Pandas DataFrame.value_counts() 返回一个包含 DataFrame 中唯一行计数的系列。

    6.7K61

    9个value_counts()的小技巧,提高Pandas 数据分析效率

    生成的Series可以按降序或升序排序,通过参数控制包括或排除NA。 在本文中,我们将探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。...1、默认参数 2、按升序对结果进行排序 3、按字母顺序排列结果 4、结果中包含空值 5、 以百分比计数显示结果 6、将连续数据分入离散区间 7、分组并调用 value_counts() 8、将结果系列转换为...默认情况下,结果系列按降序排列,不包含任何 NA 值。例如,让我们从 Titanic 数据集中获取“Embarked”列的计数。...一个常见的用例是按某个列分组,然后获取另一列的唯一值的计数。例如,让我们按“Embarked”列分组并获取不同“Sex”值的计数。...Pandas DataFrame.value_counts() 返回一个包含 DataFrame 中唯一行计数的系列。

    2.5K20

    9个value_counts()的小技巧,提高Pandas 数据分析效率

    生成的Series可以按降序或升序排序,通过参数控制包括或排除NA。 在本文中,我们将探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。...默认参数 按升序对结果进行排序 按字母顺序排列结果 结果中包含空值 以百分比计数显示结果 将连续数据分入离散区间 分组并调用 value_counts() 将结果系列转换为 DataFrame 应用于DataFrame...默认情况下,结果系列按降序排列,不包含任何 NA 值。例如,让我们从 Titanic 数据集中获取“Embarked”列的计数。  ...一个常见的用例是按某个列分组,然后获取另一列的唯一值的计数。例如,让我们按“Embarked”列分组并获取不同“Sex”值的计数。  ...Pandas DataFrame.value_counts() 返回一个包含 DataFrame 中唯一行计数的系列。

    3K20

    python数据分析——数据的选择和运算

    它们能够帮助我们从海量的数据中提取出有价值的信息,并通过适当的运算处理,得出有指导意义的结论。 数据的选择,是指在原始数据集中筛选出符合特定条件的数据子集。这通常涉及到对数据的筛选、排序和分组等操作。...数据获取 ①列索引取值 使用单个值或序列,可以从DataFrame中索引出一个或多个列。...代码和输出结果如下所示: (3)使用“how”参数合并 关键技术:how参数指定如何确定结果表中包含哪些键。如果左表或右表中都没有出现组合键,则联接表中的值将为NA。...非空值计数 【例】对于存储在该Python文件同目录下的某电商平台销售数据product_sales.csv,形式如下所示,请利用Python对数据读取,并计算数据集每列非空值个数情况。...关键技术:可以利用标签索引和count()方法来进行计数,程序代码如下所示: 【例】对于上述数据集product_sales.csv,若需要特定的行进行非空值计数,应该如何处理?

    19310

    Python 数据处理:Pandas库的使用

    Series的索引匹配到DataFrame的列,然后沿着行一直向下广播: print(frame - series) 如果某个索引值在DataFrame的列或Series的索引中找不到,则参与运算的两个对象就会被重新索引以形成并集...选项: 方法 描述 'average' 默认:在相等分组中,为各个值分配平均排名 'min' 使用整个分组的最小排名 'max' 使用整个分组的最大排名 'first' 按值在原始数据中的出现顺序分配排名...无论如何,在计算相关系数之前,所有的数据项都会按标签对齐。 ---- 3.2 唯一值、值计数以及成员资格 还有一类方法可以从一维Series的值中抽取信息。...计算Series中的唯一值数组,按发现的顺序返回 value_counts 返回一个Series,其索引为唯一值,其值为频率,按计数值降序排列 有时,你可能希望得到DataFrame中多个相关列的一张柱状图...后面的频率值是每个列中这些值的相应计数。

    22.8K10

    python df 列替换_如何用Python做数据分析,没有比这篇文章更详细的了(图文详情)...

    Excel 中的文件菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导入。  获取外部数据  python 支持从多种类型的数据导入。...在开始使用 python 进行数据导入前需要先导入 pandas 库,为了方便起见,我们也同时导入 numpy 库。  ...Python 中使用 unique 函数查看唯一值。  查看唯一值  Unique 是查看唯一值的函数,只能对数据表中的特定列进行检查。下面是代码,返回的结果是该列中的唯一值。...Python 中需要使用 ort_values 函数和 sort_index 函数完成排序。  排序  在 python 中,既可以按索引对数据表进行排序,也可以看制定列的数值进行排序。...high','low')  where  除了 where 函数以外,还可以对多个字段的值进行判断后对数据进行分组,下面的代码中对 city 列等于 beijing 并且 price 列大于等于 4000

    4.5K00

    Python常用小技巧总结

    others Python合并多个EXCEL工作表 pandas中Series和Dataframe数据类型互转 相同字段合并 Python小技巧 简单的表达式 列表推导式 交换变量 检查对象使用内存情况...(dropna=False) # 查看Series对象的唯⼀值和计数 df.apply(pd.Series.value_counts) # 查看DataFrame对象中每⼀列的唯⼀值和计数 df.isnull...([col1,col2]) # 返回⼀个按多列进⾏分组的Groupby对象 df.groupby(col1)[col2].agg(mean) # 返回按列col1进⾏分组后,列col2的均值,agg可以接受列表参数...col1进⾏分组,计算col2的最⼤值和col3的最⼤值、最⼩值的数据透视表 df.groupby(col1).agg(np.mean) # 返回按列col1分组的所有列的均值,⽀持 df.groupby....append(df2) # 将df2中的⾏添加到df1的尾部 df.concat([df1,df2],axis=1,join='inner') # 将df2中的列添加到df1的尾部,值为空的对应⾏与对应列都不要

    9.4K20

    一句Python,一句R︱pandas模块——高级版data.frame

    最好就是一句python,对应写一句R。 pandas可谓如雷贯耳,数据处理神器。 以下符号: =R= 代表着在R中代码是怎么样的。...简单统计量/计数 df.mean(axis=0,skipna=True) =R=apply(df,2,mean) #df中的pop,按列求均值,skipna代表是否跳过均值axis=0,skipna=True...: groups['C'].count()##按照A列的值分组B组计数 Out[210]: A bar 3 foo 5 Name: C, dtype: int64 2、Apply 函数 在向数据框的每一行或每一列传递指定函数后...中字符处理 pandas提供许多向量化的字符操作,你可以在str属性中找到它们 s.str.lower() s.str.len() s.str.contains(pattern) 6、时间序列 时间序列也是...参考博客:《Python中的结构化数据分析利器-Pandas简介》 6、Crosstab 函数 该函数用于获取数据的初始印象(直观视图),从而验证一些基本假设。

    4.9K40

    Pandas速查卡-Python数据科学

    , URL或文件. pd.read_html(url) 解析html URL,字符串或文件,并将表提取到数据框列表 pd.read_clipboard() 获取剪贴板的内容并将其传递给read_table...) 所有列的唯一值和计数 选择 df[col] 返回一维数组col的列 df[[col1, col2]] 作为新的数据框返回列 s.iloc[0] 按位置选择 s.loc['index_one'] 按索引选择...) 将col1按升序排序,然后按降序排序col2 df.groupby(col) 从一列返回一组对象的值 df.groupby([col1,col2]) 从多列返回一组对象的值 df.groupby(col1...)[col2] 返回col2中的值的平均值,按col1中的值分组(平均值可以用统计部分中的几乎任何函数替换) df.pivot_table(index=col1,values=[col2,col3],aggfunc...np.mean) 在每个列上应用函数 data.apply(np.max,axis=1) 在每行上应用一个函数 加入/合并 df1.append(df2) 将df1中的行添加到df2的末尾(列数应该相同

    9.2K80

    python数据分析——数据分类汇总与统计

    本文将介绍如何使用Python进行数据分类汇总与统计,帮助读者更好地理解和应用数据。 首先,我们需要导入一些常用的Python库,如pandas、numpy和matplotlib等。...在实际的数据分析过程中,我们可能需要对数据进行清洗、转换和预处理,以满足特定的分析需求。Python提供了丰富的数据处理工具,如数据清洗、缺失值处理、异常值检测等,使得数据分析过程更加高效和准确。...第一个阶段,pandas对象中的数据会根据你所提供的一个或多个键被拆分(split)为多组。拆分操作是在对象的特定轴上执行的。...我们可以用分组平均值去填充NA值: 也可以在代码中预定义各组的填充值。...关键技术:在pandas中透视表操作由pivot_table()函数实现,其中在所有参数中,values、index、 columns最为关键,它们分别对应Excel透视表中的值、行、列。

    7210

    数据导入与预处理-课程总结-04~06章

    第4章 pandas数据获取 完整参考: 数据导入与预处理-第4章-pandas数据获取 1.1 数据获取 1.1.1 概述 数据经过采集后通常会被存储到Word、Excel、JSON等文件或数据库中...本章主要为大家介绍如何从多个渠道中获取数据,为预处理做好数据准备。...Pandas中使用read_json()函数读取JSON文件的数据,并将数据转换成一个DataFrame类对象。...常用的合并数据的函数包括: 3.2.3 主键合并数据merge 主键合并数据类似于关系型数据库的连接操作,主要通过指定一个或多个键将两组数据进行连接,通常以两组数据中重复的列索引为合并键。...lsuffix: 左DataFrame中重复列的后缀 rsuffix: 右DataFrame中重复列的后缀 sort: 按字典序对结果在连接键上排序 join方式为按某个相同列进行join: score_df

    13.1K10
    领券