首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

手把手教你做一个“渣”数据师,用Python代替老情人Excel

我希望用Python取代几乎所有的excel功能,无论是简单的筛选还是相对复杂的创建并分析数据和数组。 我将展示从简单到复杂的计算任务。强烈建议你跟着我一起做这些步骤,以便更好地理解它们。...2、一些重要的Pandas read_excel选项 ? 如果默认使用本地文件的路径,用“\”表示,接受用“/”表示,更改斜杠可以将文件添加到Python文件所在的文件夹中。...3、导入表格 默认情况下,文件中的第一个工作表将按原样导入到数据框中。 使用sheet_name参数,可以明确要导入的工作表。文件中的第一个表默认值为0。...二、查看的数据的属性 现在我们有了DataFrame,可以从多个角度查看数据了。Pandas有很多我们可以使用的功能,接下来将使用其中一些来看下我们的数据集。...4、将总列添加到已存在的数据集 ? 5、特定列的总和,使用loc函数 ? 或者,我们可以用以下方法: ? 6、用drop函数删除行 ? 7、计算每列的总和 ?

8.4K30

如何用 Python 执行常见的 Excel 和 SQL 任务

我强烈推荐使用 Anaconda,但这个初学者指南也将帮助你安装 Python -- 尽管这将使本教程更加难以接受。 我们从基础开始:打开一个数据集。...,使用这个方法所能导入完整的文件格式清单是在 Pandas 文档中。你可以导入从 CSV 和 Excel 文件到 HTML 文件中的所有内容!...这个方便的教程将分解 Python 中不同数据类型之间的差异,以便你需要复习。 在 Excel 中,你可以右键单击并找到将列数据转换为不同类型的数据的方法。...我们首先在 Python 中使用 re 库。我们将使用正则表达式来替换 gdppercapita 列中的逗号,以便我们可以更容易地使用该列。 ? re.sub 方法本质上是使用空格替换逗号。...以下教程详细介绍了 re库的各个方法。 现在我们已经删除了逗号,我们可以轻易地将列转换为数字。 ? 现在我们可以计算这列的平均值。 ?

10.8K60
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    用Python执行SQL、Excel常见任务?10个方法全搞定!

    我强烈推荐使用 Anaconda,但这个初学者指南也将帮助你安装 Python——尽管这将使本篇文章更加难以接受。 我们从基础开始:打开一个数据集。...使用这个方法所能导入完整的文件格式清单是在 Pandas 文档中。你可以导入从 CSV 和 Excel 文件到 HTML 文件中的所有内容!...这个方便的教程将分解 Python 中不同数据类型之间的差异,以便你需要复习。 在 Excel 中,你可以右键单击并找到将列数据转换为不同类型的数据的方法。...我们首先在 Python 中使用 re 库。我们将使用正则表达式来替换 gdp_per_capita 列中的逗号,以便我们可以更容易地使用该列。 ? re.sub 方法本质上是使用空格替换逗号。...以下详细介绍了 re库 的各个方法。 现在我们已经删除了逗号,我们可以轻易地将列转换为数字。 ? 现在我们可以计算这列的平均值。 ?

    8.3K20

    Python处理CSV文件(一)

    CSV 文件将数据表格存储为纯文本,表格(或电子表格)中的每个单元格都是一个数值或字符串。...当你使用 CSV 文件时,确实会失去某些 Excel 功能:在 Excel 电子表格中,每个单元格都有一个定义好的“类型”(数值、文本、货币、日期等),CSV 文件中的单元格则只是原始数据。...第 12 行代码使用 string 模块的 split 函数将字符串用逗号拆分成列表,列表中的每个值都是一个列标题,最后将列表赋给变量 header_list。...第 17 行使代码用 split 函数用逗号将字符串拆分成一个列表,列表中的每个值都是这行中某一列的值,然后,将列表赋给变量 row_list。...例如,可以使用正则表达式来搜索带有嵌入逗号的模式,就像 6,015.00 和 1,006,015.00,然后删除这些值中的逗号,再使用余下的逗号来拆分行。

    17.8K10

    Python与Excel协同应用初学者指南

    从Python、Pip、Pandas、Numpy、Matplotlib等开始,所有东西都将安装在它里面。这将为你提供一种简单快捷的方法来开始进行数据科学,因为不需要担心单独安装数据科学所需的软件包。...就像可以使用方括号[]从工作簿工作表中的特定单元格中检索值一样,在这些方括号中,可以传递想要从中检索值的确切单元格。...这种从单元格中提取值的方法在本质上与通过索引位置从NumPy数组和Pandas数据框架中选择和提取值非常相似。...可以使用Pandas包中的DataFrame()函数将工作表的值放入数据框架(DataFrame),然后使用所有数据框架函数分析和处理数据: 图18 如果要指定标题和索引,可以传递带有标题和索引列表为...下面是一个示例,说明如何使用pyexcel包中的函数get_array()将Excel数据转换为数组格式: 图25 让我们了解一下如何将Excel数据转换为有序的列表字典。

    17.4K20

    单列文本拆分为多列,Python可以自动化

    标签:Python与Excel,pandas 在Excel中,我们经常会遇到要将文本拆分。Excel中的文本拆分为列,可以使用公式、“分列”功能或Power Query来实现。...在这里,我特意将“出生日期”列中的类型强制为字符串,以便展示切片方法。实际上,pandas应该自动检测此列可能是datetime,并为其分配datetime对象,这使得处理日期数据更加容易。...对于了解Excel并且倾向于使用公式来解决此问题的人,第一反应可能是:好的,我将创建一个可能包含FIND函数和LEFT函数或MID函数等的公式,然后向下拖动以将其应用于所有单元格。...我们可以使用Python字符串切片来获取年、月和日。字符串本质上类似于元组,我们可以对字符串使用相同的列表切片技术。看看下面的例子。...看一个例子: 图6 上面的示例使用逗号作为分隔符,将字符串拆分为两个单词。从技术上讲,我们可以使用字符作为分隔符。注意:返回结果是两个单词(字符串)的列表。 那么,如何将其应用于数据框架列?

    7.1K10

    Python数据分析的数据导入和导出

    一、导入数据 导入Excel表格数据 Excel文件有两种格式,分别为xls格式和xlsx格式。这两种格式的文件都可以用Python的Pandas模块的read_excel方法导入。...read_html()函数是pandas库中的一个功能,它可以用于从HTML文件或URL中读取表格数据并将其转换为DataFrame对象。...使用read_html()函数可以方便地将HTML中的表格数据读取为DataFrame对象,以便进行后续的数据处理和分析。 示例 【例】爬取A股公司营业收入排行榜。...对象df保存为名为’data.xlsx'的Excel文件,在Sheet1中写入数据,不保存索引列,保存列名,数据从第3行第2列开始,合并单元格,使用utf-8编码,使用pandas的默认引擎。...解决该问题,首先在sales_new.xlsx文件中建立名为df1和df2的sheet页,然后使用pd.ExcelWriter方法打开sales_new.xlsx文件,再使用to_excel方法将数据导入到指定的

    26510

    Python替代Excel Vba系列(三):pandas处理不规范数据

    但是身经百战的你肯定会觉得,前2篇例子中的数据太规范了,如果把数据导入到数据库还是可以方便解决问题的。 因此,本文将使用稍微复杂的数据做演示,充分说明 pandas 是如何灵活处理各种数据。...本文要点: 使用 pandas 处理不规范数据。 pandas 中的索引。...---- 处理标题 pandas 的 DataFrame 最大的好处是,我们可以使用列名字操作数据,这样子就无需担心列的位置变化。因此需要把标题处理好。...如果你熟悉 excel 中的透视表,那么完全可以把行列索引当作是透视表中的行列区域。 ---- 理解了索引,那么就要说一下如何变换行列索引。...---- 数据如下: ---- ---- 最后 本文通过实例展示了如何在 Python 中使用 xlwings + pandas 灵活处理各种的不规范格式表格数据。

    5K30

    这个插件竟打通了Python和Excel,还能自动生成代码!

    Mito的出现,像是将Python的强大功能、和Excel的易用性进行了结合。 只需要掌握Excel的用法,就能使用Python的数据分析功能,还能将写出来的代码“打包带走”。...接下来在终端中运行这些命令,完成安装即可。 1. 创建环境 我正在使用 Conda 创建一个新环境。你还可以使用 Python 的“venv”来创建虚拟环境。...如下图所示 如果你看下面的单元格,你会发现Python等效的代码导入一个数据集使用pandas已经生成了适当的注释!...添加和删除列 添加列 就像在 Excel 等电子表格中一样,你可以添加一个新列,该列可能是从现有列或特征创建的。要在 Mito 中执行此操作,只需单击“Add Col”按钮。...在 Mito 中的这些都很简单,可以通过选择屏幕上的选项通过GUI本身完成。 单击所需的列 将看到一个数据类型列表。可以根据需要从下拉列表中选择任何数据类型,该数据类型将应用于整个列。

    4.7K10

    使用R或者Python编程语言完成Excel的基础操作

    数据导入与导出 导入外部数据:使用“数据”选项卡中的“从文本/CSV”或“从其他源”导入数据。 导出数据:可以将表格导出为CSV、Excel文件或其他格式。 12....合并文本:使用CONCATENATE函数或“&”运算符将多个单元格的文本合并为一个。 宏和VBA编程 录制宏:自动记录一系列操作,以便重复执行。 VBA编程:编写VBA代码实现自动化和定制化功能。...在Python编程语言中 处理表格数据通常使用Pandas库,它提供了非常强大的数据结构和数据分析工具。以下是如何在Python中使用Pandas完成类似于R语言中的操作,以及一个实战案例。...然而,如果你想要使用Python的更基础的内置数据结构和功能来处理数据,你可以使用列表(List)、字典(Dictionary)和内置的函数来完成一些简单的操作。...以下是一些使用Python基础数据结构进行数据处理的例子: 读取数据 假设数据已经以列表形式加载到Python中: data = [ ['Date', 'Store', 'Product', '

    23810

    python数据分析——数据分析的数据的导入和导出

    这两种格式的文件都可以用Python的Pandas模块的read_excel方法导入。read_excel方法返回的结果是DataFrame, DataFrame的一列对应着Excel的一列。...skipfooter参数:该参数可以在导入数据时,跳过表格底部的若干行。 header参数:当使用Pandas的read_excel方法导入Excel文件时,默认表格的第一行为字段名。...在该例中,首先通过pandas库的read_csv方法导入sales.csv文件的前10行数据,然后使用pandas库的to_csv方法将导入的数据输出为sales_new.csv文件。...2.3导入到多个sheet页中 【例】将sales.xlsx文件中的前十行数据,导出到sales_new.xlsx文件中名为df1的sheet页中,将sales.xlsx文件中的后五行数据导出到sales_new.xlsx...解决该问题,首先在sales_new.xlsx文件中建立名为df1和df2的sheet页,然后使用pd.ExcelWriter方法打开sales_new.xlsx文件,再使用to_excel方法将数据导入到指定的

    18710

    使用Python将PDF转换为Excel

    标签:Python与Excel,tabula-py 在本文中,我们将了解如何使用Python将PDF转换为Excel。如果你处理数据,那么很可能已经或将不得不处理存储在.pdf文件中的数据。...从PDF复制表格并将其直接粘贴到Excel是很困难的,在大多数情况下,我们从PDF文件中复制的是文本,而不是格式化的Excel表格。...因此,当将数据粘贴到Excel中时,我们会看到一块文本被压缩到一个单元格中。 当然,我们不希望将单个值逐个复制并粘贴到Excel中。使用Python,可以只需不到10行代码就可以获得相当好的结果。...接着,将干净的字符串值赋值回数据框架的标题(列)。 步骤3:删除NaN值 接下来,我们将清除由函数tabula.read_pdf()创建的NaN值,以便在特定单元格为空时使用。...(r'D:\data-1.xlsx') 可以看到,使用Python将PDF转换为Excel只需要5行代码。

    3.9K20

    xlwings,让excel飞起来!

    关于xlwings xlwings开源免费,能够非常方便的读写Excel文件中的数据,并且能够进行单元格格式的修改。...xlwings还可以和matplotlib、numpy以及pandas无缝连接,支持读写numpy、pandas的数据类型,将matplotlib可视化图表导入到excel中。...最重要的是xlwings可以调用Excel文件中VBA写好的程序,也可以让VBA调用用Python写的程序。 话不多说,我们开始练一练吧!...读取表中批量数据,使用expand()方法 sht.range('A2').expand().value 其实你也可以不指定工作表的地址,直接与电脑里的活动表格进行交互 # 写入xw.Range("E1...,你可以在python中调用VBA,也可以在VBA中使用python编程,这些通过xlwings都可以巧妙实现。

    2.5K30

    Python 生成 Excel 文件的三种方式

    第3方库 2、创建一个workbook模块,相当于创建一个xlwt文件 3、通过add_sheet创建一个表格 4、使用write函数进行对表完成写的操作 5、把写完的数据导入到Excel中 openpyxl...后者不行 使用openpyxl 写入Excel数据 1、获取workbook 2、获取 worksheet 3、再然后 获取单元格 进行操作 4、保存文件 pandas 写入Excel中数据的除了...Pandas也是可以实现这种功能的。 它纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具,能使我们快速便捷地处理数据。接下来我们就看看如何用pandas读写excel。 1....今天我们准备读取的数据是之前爬取瓜子二手车网站的一些数据,部分数据展示如下: 我们今天要展示的就是使用上述介绍的三种方法将txt文档的数据写入到excel中。...excel的方法,这写方法在实际工作中需求还是很高的,有兴趣的同学可以试试

    30610

    Python让Excel飞起来:使用Python xlwings实现Excel自动化

    2.使用Python编写宏,并通过单击按钮从Excel运行。 3.使用Python编写用户定义的函数,并像调用任何Excel内置函数一样从Excel中调用这些函数。 听起来很刺激?让我们开始吧!...基本上,我们是在向单元格中写入字符串。这里,我们要在另一列中计算x轴的指数值。在下面的代码中,我们使用了“f-string”,这是从Python 3.6开始的一种改进的字符串格式语法。...Excel数据作为列表读取到Python中。...必须将其添加到def之前,以让xlwings知道这是一个用户定义的函数。 该函数必须返回某些内容,以便将返回的值传递到Excel中。...图12 注意到,当键入函数时,square实际上会显示在函数列表中——我们可以像使用Excel内置函数一样使用Python函数,并且可以将单元格引用传递到函数中。

    9.7K41

    python生成excel文件的三种方式

    workbook模块,相当于创建一个xlwt文件 3、通过add_sheet创建一个表格 4、使用write函数进行对表完成写的操作 5、把写完的数据导入到Excel中 openpyxl OpenPyXl...后者不行 使用openpyxl 写入Excel数据 1、获取workbook 2、获取 worksheet 3、再然后 获取单元格 进行操作 4、保存文件 pandas 写入Excel中数据的除了xlwt...Pandas也是可以实现这种功能的。 它纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具,能使我们快速便捷地处理数据。接下来我们就看看如何用pandas读写excel。 1....今天我们准备读取的数据是之前爬取瓜子二手车网站的一些数据,部分数据展示如下: 我们今天要展示的就是使用上述介绍的三种方法将txt文档的数据写入到excel中。...: 数据成功读取出来,接下来我们使用三种方式写入到excel中 使用xlwt生成xls的excel文件 # 使用xlwt生成xls的excel文件 import xlwt workbook = xlwt.Workbook

    1.5K30

    Python写入Excel文件-多种实现方式(测试成功,附代码)

    :单元格的样式 worksheet1.write(row, col, data, bold) # 写入一整行,一整列 # A1:从A1单元格开始插入数据,按行插入, data:要写入的数据(格式为一个列表...), bold:单元格的样式 worksheet1.write_row(“A1”,data,bold) # A1:从A1单元格开始插入数据,按列插入, data:要写入的数据(格式为一个列表), bold...文件的所有工作表:workbook.worksheets() 关闭excel文件: workbook.close() pandas库储存数据到excel 简介 在Python中,pandas是基于...DataFrame DataFrame是一个表格型的数据类型,每列值类型可以不同,是最常用的pandas对象。...DataFrame中的数据是以一个或多个二维块存放的(而不是列表、字典或别的一维数据结构) 示例:写入excel # -*- coding: utf-8 -*- import pandas as pd

    4.3K10

    《Python for Excel》读书笔记连载17:使用读写器包进行Excel文件操作(上)

    在学习一些高级主题之前,将首先学习何时使用哪个软件包以及它们的语法工作原理,包括如何使用处理大型Excel文件以及如何将pandas与reader和writer软件包结合以改进数据框架的样式。...例如,Excel文件的大小往往会随着时间的推移而增大,许多用户通过将文件格式从xlsx切换到xlsb来解决这一问题,因为这可以大大减小文件大小。...write函数的工作原理类似:它接受一个来自xlwt、OpenPyXL或XlsxWriter的sheet对象,以及嵌套列表和可选的first_cell,该单元格标记嵌套列表将写入的位置的左上角。...对于主要包含数据和公式的格式化单元格的简单Excel文件来说,这是非常强大的,但是当电子表格中有图表和其他更高级的内容时,这又是有限的,因为OpenPyXL将更改它们或完全删除它们。...例如,从v3.0.5版本起,OpenPyXL将重命名图表并删除其标题。

    3.9K20
    领券