首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python实现excel 14个常用操作,Vlookup、数据透视、去重、筛选、分组

大家好,这里是Python程序员晚枫,分享有用编程知识。 今天分享是:Python + Excel自动化办公 自从学了Python后就逼迫自己不用Excel,所有操作用Python实现。...Excel文件是有关销售数据,长这样: 你也可以通过下列视频方式,自己生成 一、关联公式:Vlookup vlookup是excel几乎最常用公式,一般用于两个关联查询等。...所以我先把这张分为两个。...value_counts() df2["订单明细号"].duplicated().value_counts() df_c=pd.merge(df1,df2,on="订单明细号",how="left") 二、数据透视...sale.groupby("地区名称")["利润"].sum().describe() 根据四分位数把地区总利润为[-9,7091]区间分组为“较差”,(7091,10952]区间分组为"中等"

2.6K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python for Excel》读书笔记连载12:使用pandas进行数据分析之理解数据

    在数据框架所有行中获取统计信息有时不够好,你需要更细粒度信息,例如,每个类别的均值,这是下面的内容。 分组 再次使用我们示例数据框架df,让我们找出每个大陆平均分数。...为此,首先按洲对行进行分组,然后应用mean方法,该方法将计算每组均值,自动排除所有非数字列: 如果包含多个列,则生成数据框架将具有层次索引,即我们前面遇到多重索引: 可以使用pandas提供大多数描述性统计信息...透视和熔解 如果在Excel中使用透视,应用pandaspivot_table函数不会有问题,因为它工作方式基本相同。...index和columns分别定义数据框架哪一列将成为透视行和列标签。...Region)唯一值,并将其转换为透视列标题,从而聚合来自另一列值。

    4.2K30

    ​【Python基础】一文看懂 Pandas 中透视

    一文看懂 Pandas 中透视 透视在一种功能很强大图表,用户可以从中读取到很多信息。利用excel可以生成简单透视。本文中讲解是如何在pandas中制作透视。...读取数据 注:本文原始数据文件,可以在公号「Python数据之道」后台回复 “透视”获取。...df["Status"].cat.set_categories(["won","pending","presented","declined"],inplace=True) # 设置顺序 建立透视...4.使用columns参数,指定生成列属性 ? 5. 解决数据NaN值,使用fill_value参数 ? 6. 查看总数据,使用margins=True ? 7....不同属性字段执行不同函数 ? ? 8. Status排序作用体现 ? 高级功能 当通过透视生成了数据之后,便被保存在了数据帧中 查询指定字段值信息 ?

    1.7K20

    Python实现透视value_sum和countdistinct功能

    Excel数据透视Python实现对比 就是对表df中a列各个值出现次数进行统计。...Pandas中数据透视各功能 用过Excel透视表功能的话我们知道,出了统计出现次数之外,还可以选择计算某行求和、最大最小值、平均值等(数据透视对于数值类型列默认选求和,文本类型默认选计数),...去重数据透视计数 另外还有一个很重要需求是统计某列不重复元素计数,这个用数据透视是不能直接算出来,例如有一个用户订单,一个用户可能下了多个订单,用户有渠道属性,需要统计一段时间内各渠道付费用户数...常规透视与期望去重效果对比 可以看到直接对c列计数是不去重,和我们想要不一样。...['c'].nunique()就是期望结果,效率比用for循环更高,值得学习。 ? Python去重计数实现

    4.3K21

    利用 SQL 实现数据分组透视

    数据分组是对相同类别的数据进行汇总,而数据透视是通过对行或列不同组合对数据进行汇总,所使用汇总方法有求和、计数、平均值、标准差等,本文使用SQL对数据进行数据分组和数据透视,下面一起来学习。...普通分组 普通数据分组这里使用GROUP BY函数,同时使用COUNT函数进行计数。...#数据分组 SELECT Ssex,COUNT(SId) as '人数' from Student GROUP BY Ssex; ? 分组筛选 如何对于分组结果进行筛选?...数据透视 在SQL中想要达到数据透视功能,需要GROUP BY与CASE WHEN结合使用,下面这条SQL语句可以计算不同分数段的人数,现用CASE WHEN对不同分数段进行分类,然后,用GROUP...BY分组,并且计数,实现数据透视功能。

    2.4K20

    在pandas中使用数据透视

    Python大数据分析 记录 分享 成长 什么是透视?...经常做报表小伙伴对数据透视应该不陌生,在excel中利用透视可以快速地进行分类汇总,自由组合字段聚合计算,而这些只需要拖拉拽就能实现。...透视是一种汇总了更广泛数据统计信息。 典型数据格式是扁平,只包含行和列,不方便总结信息: 而数据透视可以快速抽取有用信息: pandas也有透视?...,可多选 index:行分组键,一般是用于分组列名或其他分组键,作为结果DataFrame行索引 columns:列分组键,一般是用于分组列名或其他分组键,作为结果DataFrame列索引 aggfunc...下面拿数据练一练,示例数据如下: 该为用户订单数据,有订单日期、商品类别、价格、利润等维度。

    3K20

    左手用R右手Python系列10——统计描述与列联分析

    数据统计描述与列联分析是数据分析人员需要掌握基础核心技能,R语言与Python作为优秀数据分析工具,在数值型数据描述,类别型变量交叉分析方面,提供了诸多备选方法。...Python: 关于Python变量与数据描述函数,因为之前已经介绍过一些基础聚合函数,这里仅就我使用最多数据透视和交叉进行讲解:Pandas中数据透视【pivot_table】和交叉...【crosstab】规则几乎与Excel中透视理念很像,可以作为所有的数值型、类别型变量表述统计、频率统计和交叉列联统计使用。...透视行字段,通常为类别型字段) columns=None, #列字段(对应Excel透视列字段,通常为类别型字段) values=None...以上透视是针对数值型变量分组聚合,那么针对类别型变量则需要使用pandas中交叉函数进行列表分析。

    3.5K120

    数据科学小技巧3:数据透视

    这是我第78篇原创文章,关于Python语言和数据科学。 阅读完本文,你可以知道: 1 使用Python语言实现数据透视表功能 “正是问题激发我们去学习,去实践,去观察。”...数据透视是Excel里面常用分析方法和工具,通过行选择,指定需要分组指标;通过列选择,指定需要计算指标,最后在指定需要聚合计算类型,比方说是计数,还是求均值,还是累加和等等。...第三个数据科学小技巧:数据透视。前面的数据科学小技巧,可以点击下面链接进入。...第一步:导入Python库 ? 第二步:导入数据集 ? 第三步:数据检视 ? 第四步:数据透视 ?...我们使用pandas库pivot_table函数,重要参数设置: index参数:指定分组指标 values参数:指定计算指标 aggfunc参数:指定聚合计算方式,比方说求平均,累加和 数据透视结果

    1.1K30

    Python入门之数据处理——12种有用Pandas技巧

    翻译:黄念 校对:王方思 小编和大伙一样正在学习Python,在实际数据操作中,列联创建、缺失值填充、变量分箱、名义变量重新编码等技术都很实用,如果你对这些感兴趣,请看下文: ◆ ◆ ◆ 引言...现在,我们可以填补缺失值并用# 2中提到方法来检查。 #填补缺失值并再次检查缺失值以确认 ? ? # 4–透视 Pandas可以用来创建MS Excel风格透视。...#只在有缺失贷款值行中进行迭代并再次检查确认 ? ? 注意: 1. 多索引需要在loc中声明定义分组索引元组。这个元组会在函数中用到。...透视验证了成功合并操作。请注意,“value”在这里是无关紧要,因为在这里我们只简单计数。 # 8–数据帧排序 Pandas允许在多列之上轻松排序。可以这样做: ? ?...但是,Python会将它们视为不同分类。 3. 有些类别的频率可能非常低,把它们归为一类一般会是个好主意。

    5K50

    python数据分析——数据分类汇总与统计

    我们可以用分组平均值去填充NA值: 也可以在代码中预定义各组填充值。由于分组具有一个name属性,所以我们可以拿来用一下: 四、数据透视与交叉 4.1....数据透视 pivot()用途就是,将一个dataframe记录数据整合成表格(类似Excel中数据透视表功能),pivot_table函数可以产生类似于excel数据透视结果,相当直观。...; index=用于分组列名或其他分组键,出现在结果透视行; columns =用于分组列名或其他分组键,出现在结果透视列; values = 待聚合名称,默认聚合所有数值列;...为True时,行/列小计和总计名称; 【例17】对于DataFrame格式某公司销售数据workdata.csv,存储在本地数据形式如下,请利用Python数据透视分析计算每个地区销售总额和利润总额...程序代码如下所示: 4.2.交叉 交叉采用crosstab函数,可是说是透视一部分,是参数aggfunc=count情况下透视

    63410

    从Excel到Python:最常用36个Pandas函数

    本文为粉丝投稿《从Excel到Python》读书笔记 本文涉及pandas最常用36个函数,通过这些函数介绍如何完成数据生成和导入、数据清洗、预处理,以及最常见数据分类,数据筛选,分类汇总,透视等最常见操作...主要包括数据合并,排序,数值分列,数据分组及标记等工作。 1.数据合并 在Excel中没有直接完成数据合并功能,可以通过VLOOKUP函数分步实现。...4.数据分组 Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值分组,或者使用“数据透视”来完成分组 Python中使用Where函数用来对数据进行判断和分组 #如果price列值>3000...在Python中使用split函数实现分列在数据中category列中数据包含有两个信息,前面的数字为类别id,后面的字母为size值。中间以连字符进行连接。...2.数据透视 ? Python中通过pivot_table函数实现同样效果 #设定city为行字段,size为列字段,price为值字段。 分别计算price数量和金额并且按行与列进行汇总。

    11.5K31

    Pandas三百题

    (df,values=['销售额','利润'],index='省/自治区',aggfunc=['sum']) 6 - 数据透视|多索引 制作「各省市」与「不同类别」产品「销售总额」数据透视 pd.pivot_table...(df,values=['销售额'],index=['省/自治区','类别'],aggfunc=['sum']) 7 - 数据透视|多层 制作各省市「不同类别」产品「销售总额」透视 pd.pivot_table...「均值与总和」数据透视,并在最后追加一行『合计』 pd.pivot_table(df,values = ['销售额','数量'],index = ['省/自治区','类别'],aggfunc = [...'mean',sum],margins=True) 9 - 数据透视|筛选 在上一题基础上,查询 「类别」 等于 「办公用品」 详情 ​ 10 -数据透视|逆透视透视就是将宽转换为长,例如将第...5 题透视进行逆透视,其中不需要转换列为『数量』列 pd.pivot_table(df,values = ['销售额','利润','数量'],index = '类别',aggfunc = sum

    4.8K22

    各项工具大pk,分组聚合哪家强?

    凹凸们,大家好 先看一个小需求,其实是很常见分组聚合问题。 ? 今天我将带大家分别使用MySQL、Excel、Pandas、VBA和Python来实现这个需求。 这么齐全应该算是全网首发吧!...Excel实现分组统计 首先创建数据透视: ? 然后将对应字段拖动到正确位置: ? 然后打开透视选项取消这两项勾选即可: ?...VBA实现分组统计 经过近1小时痛苦尝试,终于编写出了下面这段VBA代码,它模拟实现了分组计数过程: Option Explicit Function is_exists(name As String...Python实现分组计数 实现代码: import csv from collections import namedtuple result = {} columns = ["A区", "B区",...模拟一下Pandas数据透视实现分组统计过程: import csv from collections import namedtuple, Counter result = Counter()

    71320

    Python数据分析实战(2)使用Pandas进行数据分析

    一、Pandas使用 1.Pandas介绍 Pandas主要应用包括: 数据读取 数据集成 透视 数据聚合与分组运算 分段统计 数据可视化 对电影数据分析: 平均分较高电影 不同性别对电影平均评分..., dtype: object 计数: print(iris_data["类别"].count()) 打印: 150 求所有列最大值和指定列最大值: print(iris_data.max()) print...()透视方法、并传递平均值作为聚合函数求出每部电影平均评分。...(5)不同性别对电影平均评分 现根据电影名和性别计算平均评分如下: # 透视透视数据结构 ,两个index movie_gender_rating_pingjun = pd.pivot_table...由上处数据处理和分析过程中可以看到,在数据处理过程中,合并、透视分组、排序这四大类操作是最经常用,需要熟练掌握。

    4.1K30

    Python实现基于客观事实RFM模型(CDA持证人分享)

    本文将用现代最流行编程语言---Python语言来实践课堂上讲解RFM模型,将用户进行分类。 (tips:本文用到CDA Level 1中多维数据透视分析和业务分析方法两块内容。)...数据读取与理解 在得到一份数据之后,我们第一步就是要理解数据业务意义,以及对数据EDA(探索性分析),这里通过如下代码,发现以下特征: 具体代码(包含Python导入包部分)如下: # 导入相关包...因此利用pandas中groupby函数对每个用户以上一步统计R值作为分组依据进行分组,并求出最小值。...,不同于MYSQL,不需要指定左还是右为主表,只需要提供左与右公共字段在各表中名称即可。...04 总结 本文利用Python语言实现在CDA Level 1课程中学习到RFM模型,同时还利用了多维数据透视分析和业务分析方法两个模块内容。所以说实践是检验和巩固学到东西最好方法。

    2.1K00

    数据透视,能不能自己透视自己?| Power Query技巧

    在Excel数据透视表里,我们如果要对某一列内容进行次数统计和对比,可以同时将该列添加到透视“列”和“值”里,如下图所示对金额类别列进行统计对比: 这种透视,有点儿像是某列(如案例中类别...我们将数据添加到Power Query后,尝试对“类别”列进行透视,然鹅,在透视设置对话框中,你不能再选择“类别”! 那Power Query里如果要实现这样统计,该怎么办呢?...下面介绍两种方法,后面的一种其实就是自己透视自己形式。 - 1 - 辅助列操作法 Step-01 添加自定义辅助列 因为我们要对内容进行计数,所以,这个辅助列直接都等于1即可。...,所以,我们只要操作一下生成步骤公式,然后修改一下公式内容即可: Step-01 透视列 基于“类别”列进行透视,直列里面随便哪一个都无所谓,因为后面都要改掉,所以不需要选,在高级选项里选择“计数”...因此,我们如果要改为对“类别”进行“计数”,那么,只要将“月份”改为“类别”即可,如下图所示: 修改后即得到所需结果: 通过以上两种方法,我们都可以得到想要结果,第一种通过添加简单辅助列来实现,而第二种通过简单修改公式来实现

    99050
    领券