文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python 实现Excel自动化办公《下》

上一讲我们讲到了Python 针对Excel 里面的特殊数据处理以及各种数据统计，本讲我们将引入Pandas 这个第三方库来实现数据的统计，只要一个方法就可以统计到上一讲的数据统计内容，本讲也会扩展讲讲...ndarray print(pd1['工号'].values) #查看某一列所有的值，返回的是一维的ndarray 转置输出 #转置输出 print(pd1.T)#整个数据集的翻转展示 print(pd1...[0:3].T) #前三行数据翻转展示 排序输出 #排序输出 print(pd1.sort_index(axis=1,ascending=False)) #axis等于1按列进行排序 如ABCDEFG...(100))#将为空的填充为100分 print(df.fillna({"A":222},inplace=True))#将A列为nan的值设置为222 print(df.dropna(axis="columns..."))#删除有空值的列 print(df.dropna(axis=1,how="all"))#删除掉全是空值的列 print(df.dropna(axis=0,how="all"))#删除掉全是空值的行

79620

猿创征文｜数据导入与预处理-第3章-pandas基础

# .isnull() / .notnull() 判断是否为空值 (None代表空值，NaN代表有问题的数值，两个都会识别为空值) s[s > 50] 输出为： Out[32]: 1 72.9608...= pd.DataFrame(data, index = ['a','b','c']) print(df2) print(df3) # columns参数可以增加和减少现有列，如出现新的列，值为NaN...所有数据：True返回原数据，False返回值为NaN 输出为： 1.4.3 DataFrame基本操作技巧 数据查看、转置 / 添加、修改、删除值 / 对齐 / 排序 数据查看、转置 # 数据查看...(df.head(2)) print(df.tail()) # .head()查看头部数据 # .tail()查看尾部数据 # 默认查看5条 print(df.T) # .T 转置 输出为： 添加...变量.at[行索引, 列索引] 变量.iat[行索引, 列索引] 以上方式中，"at[行索引, 列索引]"中的索引必须为自定义的标签索引，"iat[行索引, 列索引]"中的索引必须为自动生成的整数索引

14K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    Python替代Excel Vba系列（三）：pandas处理不规范数据

    ---- ---- 我们来看看数据： 注意看左上角有3个 nan ，是因为表格的标题行前3列是空的。 由于前2列有合并单元格，出现了很多 nan。 此外注意看第3列，把课时序号显示成小数。...这里不能直接转整数，因为 python 怕有精度丢失，直接转换 int 会报错。因此先转 float，再转 int。...合并单元格很多时候就是第一个有值，其他为空，ffill 填充方式刚好适合这样的情况。 ---- 现在数据美如画了。...pandas 中通过 stack 方法，可以把需要的列索引转成行索引。 用上面的数据作为例子，我们需要左边的行索引显示每天上下午的气温和降雨量。...---- 数据如下： ---- ---- 最后 本文通过实例展示了如何在 Python 中使用 xlwings + pandas 灵活处理各种的不规范格式表格数据。

    5K30

    统计师的Python日记【第5天：Pandas，露两手】

    相关系数 利用 .corr() 可以计算相关系数，比如计算四个季度的相关系数： ? 计算年份的相关系数呢？转置一下就可以了： ? 然而可惜的是——没有P值！...也可以单独只计算两列的系数，比如计算S1与S3的相关系数： ? 二、缺失值处理 Pandas和Numpy采用NaN来表示缺失数据， ? 1....数据透视表 大家都用过excel的数据透视表，把行标签和列标签随意的布局，pandas也可以这么实施，使用 .unstack() 即可： ? 四、数据的导入导出 1....除了read_csv，还有几种读取方式： 函数 说明 read_csv 读取带分隔符的数据，默认分隔符为逗号 read_table 读取带分隔符的数据，默认分隔符为制表符 read_fwf 读取固定宽格式数据...从我多年统计师从业经验来看，学会了如何跳过行，也要学如何读取某些行，使用 nrows=n 可以指定要读取的前n行，以数据 ? 为例： ? 2.

    3K70

    数据导入与预处理-课程总结-01~03章

    如： 同名异义：数据源A中的属性ID和数据源B中的属性ID分别描述的是菜品编号和订单编号，即描述的是不同的实体。...2.5.3 数组转置 熟悉数组的转置，可以通过T属性、transpose()方法、swapaxes()方法实现数组转置操作 2.5.4 随机数生成 1. numpy的random库 python里随机数生成主要有两种方式...print('------') # 多列做判断 # 索引结果保留 所有数据：True返回原数据，False返回值为NaN b4 = df.loc[['one','three']] < 50 print...所有数据：True返回原数据，False返回值为NaN 输出为： 3.2.4 DataFrame基本操作技巧 数据查看、转置 / 添加、修改、删除值 / 对齐 / 排序 1....变量.at[行索引, 列索引] 变量.iat[行索引, 列索引] 以上方式中，"at[行索引, 列索引]"中的索引必须为自定义的标签索引，"iat[行索引, 列索引]"中的索引必须为自动生成的整数索引

    3.1K20

    科学计算库-Pandas随笔【附网络隐私闲谈】

    pandas 是基于 numpy 数组构建的， 但二者最大的不同是 pandas 是专门为处理表格和混杂数据设计的，比较契合统计分析中的表结构，而 numpy 更适合处理统一的数值数组数据。...，每列可以是不用的类型，数值、字符串、布尔值都可以 DataFrame 本身也有行索引，列索引，字典转 DataFrame 再转置表格才一致。...①字典转为DF类型后，键/key 也默认成为了列索引，与排序不谋而合， ②目前学到的只有列转置，可以用学过的转置，再排序。...和数据源为字典的DF对象很像，转 DataFrame 的格式数据 除了前面提到的（8.2.2），现在又多了 CSV文件。...②pandas CSV文件处理方法中谈到的索引默认指的是列索引【不是绝对的，Dataframe 有些方法既 有index、又有 columns 时，index 表示行】。

    2.9K180

    上手Pandas，带你玩转数据（1）-- 实例详解pandas数据结构

    1.对表格类型的数据的读取和输出速度非常快。（个人对比excel和pandas，的确pandas不会死机....）在他的演示中，我们可以看到读取489597行，6列的数据只要0.9s。...这只有在没有通过索引的情况下才是正确的。 dtype：每列的数据类型。 copy：如果默认值为False，则使用该命令（或其它）复制数据。...dtype 返回对象的dtype。 empty 如果series为空，则返回True。 ndim 根据定义1返回基础数据的维度数。 size 返回基础数据中元素的数量。...head() 返回前n行。 tail() 返回最后n行。 ---- DataFrame基本方法 属性或方法 描述 Ť 转置行和列。 axes 以行轴标签和列轴标签作为唯一成员返回列表。...dtypes 返回此对象中的dtypes。 empty 如果NDFrame完全为空[没有项目]，则为true; 如果任何轴的长度为0。 ndim 轴/阵列尺寸的数量。

    6.7K30

    PandasNumPyMatrix用于金融数据准备

    Pandas和NumPy获取数据，为后续数据分析、机器学习做数据准备。...pandas pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。...pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。...Matrix 在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合。由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。...矩阵运算在科学计算中非常重要，而矩阵的基本运算包括矩阵的加法，减法，数乘，转置，共轭和共轭转置 。

    7.3K30

    用Pandas读取CSV，看这篇就够了

    02 数据内容 filepath_or_buffer为第一个参数，没有默认值，也不能为空，根据Python的语法，第一个参数传参时可以不写参数名。...]) 08 返回序列 将squeeze设置为True，如果文件只包含一列，则返回一个Series，如果有多列，则还是返回DataFrame。...# 格式为engine=None，其中可选值有{'c', 'python'} pd.read_csv(data, engine='c') 13 列数据处理 使用converters参数对列的数据进行转换...# int类型，默认为None pd.read_csv(data, nrows=1000) 17 空值替换 na_values参数的值是一组用于替换NA/NaN的值。如果传参，需要指定特定列的空值。...# 长度为1的字符串 pd.read_csv(file, quotechar='"') 在csv模块中，数据可能会用引号等字符包裹起来，quoting参数用来控制识别字段的引号模式，它可以是Python

    76.1K811

    Read_CSV参数详解

    分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。...header参数可以是一个list例如：[0,1,3]，这个list表示将文件中的这些行作为列标题（意味着每一列有多个标题），介于中间的行将被忽略掉（例如本例中的2；本例中的数据1,2,4行将被作为多级标题出现...names : array-like, default None 用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None。...如果文件不规则，行尾有分隔符，则可以设定index_col=False 来是的pandas不适用第一列作为行索引。...na_values : scalar, str, list-like, or dict, default None 一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认为‘1.

    2.7K60

    深入理解pandas读取excel,txt,csv文件等命令

    /test.txt") print(df) 但是，注意，这个地方读取出来的数据内容为3行1列的DataFrame类型，并没有按照我们的要求得到3行4列 import pandas as pd df =...如果不指定参数，则会尝试使用默认值逗号分隔。分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。...(c引擎不支持) nrows 从文件中只读取多少数据行，需要读取的行数（从文件头开始算起） na_values 空值定义，默认情况下, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1....对于大文件来说数据集中没有N/A空值，使用na_filter=False可以提升读取速度。 verbose 是否打印各种解析器的输出信息，例如：“非数值列中缺失值的数量”等。...当对表格的某一行或列进行操作之后，在保存成文件的时候你会发现总是会多一列从0开始的列，如果设置index_col参数来设置列索引，就不会出现这种问题了。

    12.3K40

    深入理解pandas读取excel,tx

    /test.txt") print(df) 但是，注意，这个地方读取出来的数据内容为3行1列的DataFrame类型，并没有按照我们的要求得到3行4列 import pandas as pd df =...如果不指定参数，则会尝试使用默认值逗号分隔。分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。...(c引擎不支持) nrows 从文件中只读取多少数据行，需要读取的行数（从文件头开始算起） na_values 空值定义，默认情况下, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1....对于大文件来说数据集中没有N/A空值，使用na_filter=False可以提升读取速度。 verbose 是否打印各种解析器的输出信息，例如：“非数值列中缺失值的数量”等。...当对表格的某一行或列进行操作之后，在保存成文件的时候你会发现总是会多一列从0开始的列，如果设置index_col参数来设置列索引，就不会出现这种问题了。

    6.2K10

    pandas.read_csv参数详解

    分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。...header参数可以是一个list例如：[0,1,3]，这个list表示将文件中的这些行作为列标题（意味着每一列有多个标题），介于中间的行将被忽略掉（例如本例中的2；本例中的数据1,2,4行将被作为多级标题出现...names : array-like, default None 用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None。...如果文件不规则，行尾有分隔符，则可以设定index_col=False 来是的pandas不适用第一列作为行索引。...na_values : scalar, str, list-like, or dict, default None 一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认为‘1.

    3.1K30

    python pandas.read_csv参数整理,读取txt,csv文件

    分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。...header参数可以是一个list例如：[0,1,3]，这个list表示将文件中的这些行作为列标题（意味着每一列有多个标题），介于中间的行将被忽略掉（例如本例中的2；本例中的数据1,2,4行将被作为多级标题出现...names : array-like, default None 用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None。...如果文件不规则，行尾有分隔符，则可以设定index_col=False 来是的pandas不适用第一列作为行索引。...na_values : scalar, str, list-like, or dict, default None 一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认为‘1.

    3.8K20

    python pandas.read_csv参数整理,读取txt,csv文件

    分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。...header参数可以是一个list例如：[0,1,3]，这个list表示将文件中的这些行作为列标题（意味着每一列有多个标题），介于中间的行将被忽略掉（例如本例中的2；本例中的数据1,2,4行将被作为多级标题出现...names : array-like, default None 用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None。...如果文件不规则，行尾有分隔符，则可以设定index_col=False 来是的pandas不适用第一列作为行索引。...na_values : scalar, str, list-like, or dict, default None 一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认为‘1.

    6.4K60

    python数据分析之pandas超详细学习笔记

    - - - 前言 pandas，python+data+analysis的组合缩写，是python中基于numpy和matplotlib的第三方数据分析库，与后两者共同构成了python数据分析的基础工具包...、列索引、转置 使用values、index、columns、axes、T import pandas as pd import numpy as np df4 = pd.DataFrame(np.arange...-03-05 16 17 18 19 NaN 2.0 2021-03-06 20 21 22 23 NaN 1.0 以下结果均为上述为基础 1、删除空值所在的行或者列 使用dropna...how中的any表示，含有空值即删除 ，all代表全部为空值才删除 print(df2.dropna(axis=0, how='any')) 输出： A B C D...此处为1000行4列的数据 2、data.head()，获取data的前几个数据，head的默认值为5 3、data.cumsum()的一个作用是可以求累加量 十、 参考文章及学习视频 博文中有一些地方的例子是直接引用学习视频中的例子

    1.6K40

    pandas

    df.to_excel("dates.xlsx") 向pandas中插入数据 如果想忽略行索引插入，又不想缺失数据与添加NaN值，建议使用 df['column_name'].values得出的是...删除数据 用drop()或者del()，drop()可以不会对原数据产生影响（可以调）；del()会删除原始数据 drop() 一次删除多行或多列，比较灵活 DataFrame.drop(labels,...axis=0,level=None,inplace=False,errors=’raise’) 删除特定的多列 # Import pandas package import pandas as pd   ..._append(temp, ignore_index=True) pandas数据转置 与矩阵相同，在 Pandas 中，我们可以使用 .transpose() 方法或 .T 属性来转置 我们的DataFrame...通常情况下, 因为.T的简便性, 更常使用.T属性来进行转置 注意 转置不会影响原来的数据，所以如果想保存转置后的数据，请将值赋给一个变量再保存。

    13010

    PandasNumPyMatrix用于金融数据准备

    Pandas和NumPy获取数据，为后续数据分析、机器学习做数据准备。...pandas pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。...pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。...NumPy NumPy是专为简化Python中的数组运算而设计的，每个NumPy数组都具有以下属性： ndim：维数。 shape：每一维的大小。 size：数组中元素的总数。...由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。矩阵运算在科学计算中非常重要，而矩阵的基本运算包括矩阵的加法，减法，数乘，转置，共轭和共轭转置 。

    5.8K10

    资源 | 23种Pandas核心操作，你需要过一遍吗？

    选自 Medium 作者：George Seif 机器之心编译 参与：思源 本文转自机器之心，转载需授权 Pandas 是一个 Python 软件库，它提供了大量能使我们快速便捷地处理数据的函数和方法...一般而言，Pandas 是使 Python 成为强大而高效的数据分析环境的重要因素之一。...Pandas 是基于 NumPy 构建的库，在数据处理方面可以把它理解为 NumPy 加强版，同时 Pandas 也是一项开源项目。...它基于 Cython，因此读取与处理数据非常快，并且还能轻松处理浮点数据中的缺失数据（表示为 NaN）以及非浮点数据。...（10）检查空值 NaN pd.isnull(object) 检查缺失值，即数值数组中的 NaN 和目标数组中的 None/NaN。

    2.9K20
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券