4，加法 索引相同的加在一起，当索引不一致的项，就用NaN填充 ? ...二、DataFrame DataFrame是一个表格型的数据结构，DataFrame由一定顺序排列的多列数据组成，设计初衷是将Series的使用场景从一维拓展到多维，DataFrame既有行索引index...1，DataFrame的创建 最常用的方法是传递一个字典，以字典的key为列索引，以每一个key对应的值作为对应列的数据，所以值应该是个列表。还可以指定行索引，但不可以指定列索引。 ? ...在使用merge时，会自动根据两者相同的columns，来合并 每一列元素不要求一致 参数： how：out取并集，inner取交集 on：当两者有多列的名字相同时，我们想指定某一列进行合并，那我们就要把想指定列的名字赋给它...8，删除重复元素 使用duplicated()函数检测重复的行，返回元素为bool类型的Series对象，keep参数：指定保留哪一行重复的元素 ?
前者是将已有的一列信息设置为标签列，而后者是将原标签列归为数据，并重置为默认数字标签 set_axis，设置标签列，一次只能设置一列信息，与rename功能相近，但接收参数为一个序列更改全部标签列信息（...3 数据转换 前文提到，在处理特定值时可用replace对每个元素执行相同的操作，然而replace一般仅能用于简单的替换操作，所以pandas还提供了更为强大的数据转换方法 map，适用于series...对象，功能与python中的普通map函数类似，即对给定序列中的每个值执行相同的映射操作，不同的是series中的map接口的映射方式既可以是一个函数，也可以是一个字典 ?...；sort_values是按值排序，如果是dataframe对象，也可通过axis参数设置排序方向是行还是列，同时根据by参数传入指定的行或者列，可传入多行或多列并分别设置升序降序参数，非常灵活。...两种分组聚合形式 pivot，pivot英文有"支点"或者"旋转"的意思，排序算法中经典的快速排序就是不断根据pivot不断将数据二分，从而加速排序过程。用在这里，实际上就是执行行列重整。
pd.merge(customer, order) 默认情况下，merge函数是这样工作的: 将按列合并，并尝试从两个数据集中找到公共列，使用来自两个DataFrame(内连接)的列值之间的交集。...但是如果两个DataFrame都包含两个或多个具有相同名称的列，则这个参数就很重要。 我们来创建一个包含两个相似列的数据。...在Inner Join中，根据键之间的交集选择行。匹配在两个键列或索引中找到的相同值。...这是因为它将根据键的距离合并键，而未排序的DataFrame将抛出错误消息。 使用merge_asof类似于其他的合并操作，需要传递想要合并的DataFrame及其键名称。...如果在正确的DataFrame中有多个重复的键，则只有最后一行用于合并过程。例如将更改delivery_date数据，使其具有多个不同产品的“2014-07-06”值。
在 apply 中的 dtype pandas 目前在 apply 函数中不会保留 dtype：如果你沿着行应用，你会得到一个 Series，其 dtype 为 object（与获取一行相同 -> 获取一个元素将返回基本类型...：第一个重命名类别，因此Series中的个别值也会被重命名，但如果第一个位置被排序到最后，重命名的值仍将被排序到最后。...：第一个重命名类别，因此Series中的个别值也会被重命名，但如果第一个位置被排序为最后一个，则重命名的值仍将被排序为最后一个。...apply 中的 dtype pandas 目前不会在 apply 函数中保留 dtype：如果你沿着行应用，你会得到一个 object dtype 的 Series（与获取一行相同 -> 获取一个元素将返回一个基本类型...apply 中的 dtype pandas 目前不会在应用函数中保留 dtype：如果沿着行应用，你会得到一个dtype为object的Series（与获取一行相同 -> 获取一个元素将返回基本类型），
准确性 ：数据是正确的，数据存储在数据库中的值对应于真实世界的值。 时效性：是指数据仅在一定时间段内对决策具有价值的属性。数据的时效性很大程度上制约着决策的客观效果。...print(arr_2d[:2, 0:1]) # 使用切片访问前两行、第一列的元素 2.4 数组运算 2.4.1 形状相同的数组运算 无论是形状相同的数组，还是形状不同的数组，它们之间都可以执行算术运算...形状相同的数组之间的任何算术运算都会应用到各元素，同样地，数组与标量执行算术运算时也会将标量应用到各元素，以方便各元素与标量直接进行相加、相减、相乘、相除等基础操作。...3.2.1 Dataframe简介 DataFrame是一个结构类似于二维数组或表格的对象，与Series类对象相比，DataFrame类对象也由索引和数据组成，但该对象有两组索引，分别是行索引和列索引...排序 排序1 - 按值排序 .sort_values pandas中可以使用sort_values()方法将Series、DataFrmae类对象按值的大小排序。
这种方式很好，但如果你还想把列名变为非数值型的，你可以强制地将一串字符赋值给columns参数： ? 你可以想到，你传递的字符串的长度必须与列数相同。 3....或者你想要舍弃那么缺失值占比超过10%的列，你可以给dropna()设置一个阈值： ? len(ufo)返回总行数，我们将它乘以0.9，以告诉pandas保留那些至少90%的值不是缺失值的列。...解决的办法是使用transform()函数，它会执行相同的操作但是返回与输入数据相同的形状： ? 我们将这个结果存储至DataFrame中新的一列： ?...注意到，Age列保留到小数点后1位，Fare列保留到小数点后4位。如果你想要标准化，将显示结果保留到小数点后2位呢？ 你可以使用set_option()函数： ?...我们现在隐藏了索引，将Close列中的最小值高亮成红色，将Close列中的最大值高亮成浅绿色。 这里有另一个DataFrame格式化的例子： ?
shape: 行数和列数（注意，这是Dataframe的属性，而非函数）。图片 4.数据排序我们经常需要对数据进行排序，Dataframe有一个重要的排序函数。...注意：重要参数id_vars（对于标识符）和 value_vars（其值对值列有贡献的列的列表）。pivot：将长表转换为宽表。...注意：重要参数index（唯一标识符）， columns（列成为值列），和 values（具有值的列）。...重要的参数包括 on（连接字段），how（例如内连接或左连接，或外连接），以及 suffixes（相同字段合并后的后缀）。concat：沿行或列拼接DataFrame对象。...当我们有多个相同形状/存储相同信息的 DataFrame 对象时，它很有用。
索引值也是持久的，所以如果你对 DataFrame 中的行重新排序，特定行的标签不会改变。 5. 副本与就地操作 大多数 Pandas 操作返回 Series/DataFrame 的副本。...pandas 通过在 DataFrame 中指定单个系列来提供矢量化操作。可以以相同的方式分配新列。DataFrame.drop() 方法从 DataFrame 中删除一列。...If/then逻辑 假设我们想要根据 total_bill 是小于还是大于 10 美元，来创建一个具有低值和高值的列。 在Excel电子表格中，可以使用条件公式进行逻辑比较。...日期功能 本节将提到“日期”，但时间戳的处理方式类似。 我们可以将日期功能分为两部分：解析和输出。在Excel电子表格中，日期值通常会自动解析，但如果您需要，还有一个 DATEVALUE 函数。...按值排序 Excel电子表格中的排序，是通过排序对话框完成的。 pandas 有一个 DataFrame.sort_values() 方法，它需要一个列列表来排序。
尽管我们对loc和iloc使用了不同的列表示形式，但行值没有改变。原因是我们使用数字索引标签。因此，行的标签和索引都相同。 缺失值的数量已更改： ? 7.填充缺失值 fillna函数用于填充缺失值。...考虑从DataFrame中抽取样本的情况。该示例将保留原始DataFrame的索引，因此我们要重置它。...重设索引，但原始索引保留为新列。我们可以在重置索引时将其删除。...method参数指定如何处理具有相同值的行。first表示根据它们在数组（即列）中的顺序对其进行排名。 21.列中唯一值的数量 使用分类变量时，它很方便。我们可能需要检查唯一类别的数量。...endswith函数根据字符串末尾的字符进行相同的过滤。 Pandas可以对字符串进行很多操作。
而DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值。DataFrame既有行索引，也有列索引，它可以看作是由Series组成的字典，不过这些Series公用一个索引。...4. dataframe 相关算术运算 1).如果其中一个是数值，那么这个数值会和DataFrame的每个位置上的数据进行相应的运算。...2).参与运算的如果是两个DataFrame，有可能所有的行、列是一致的，那么运算时对应行列的位置进行相应的算术运算，若行列没有对齐，那么填值NaN。 3)....3. count() 方法 统计series中非nan 的值，即非空值计数。 4. sort_index() 和 sort_values() 方法 按索引排序 或 按数值排序，默认升序排列。...新的series保留原serie的values值，如果新的index和原series的index不同，则不同的填充NaN值，或者使用fill_value参数指定填充值。
默认情况下，它是沿axis=0垂直连接的，并且默认情况下会保留df1和df2原来的索引。...2.避免重复索引 我们知道了concat()函数会默认保留原dataframe的索引。那有些情况，我想保留原来的索引，并且我还想验证合并后的结果是否有重复的索引，该怎么办呢？...concat()函数还可以将合并后的列按不同顺序排序。...虽然，它会自动将两个df的列对齐合并。但默认情况下，生成的DataFrame与第一个DataFrame具有相同的列排序。例如，在以下示例中，其顺序与df1相同。...如果想要按字母顺序对结果DataFrame进行排序，则可以设置参数sort=True。
，索引是由实体中具有唯一元素值的列构成。...此外，虽然featuretools会自动推断实体中每个列的数据类型，但仍可以通过将列类型的字典传递给参数variable_types来重新定义数据类型。...，也可以将多个原语叠加在一起。...boruta方法通过创建由目标特征的随机重排序值组成的合成特征来确定特征的重要性，然后在原始特征集的基础上训练一个简单的基于树的分类器，在这个分类器中，目标特征被合成特征所替代。...总结 自动化特征工程解决了特征构造的问题，但同时也产生了另一个问题：在数据量一定的前提下，由于产生过多的特征，往往需要进行相应的特征选择以避免模型性能的降低。
在多列上对 DataFrame 进行排序 按升序按多列排序 更改列排序顺序 按降序按多列排序 按具有不同排序顺序的多列排序 根据索引对 DataFrame 进行排序 按升序按索引排序 按索引降序排序 探索高级索引排序概念...当您对具有相同键的多条记录进行排序时，稳定的排序算法将在排序后保持这些记录的原始顺序。因此，如果您计划执行多种排序，则必须使用稳定的排序算法。...对于文本数据，排序区分大小写，这意味着大写文本将首先按升序出现，最后按降序出现。 按具有不同排序顺序的多列排序 您可能想知道是否可以使用多个列进行排序并让这些列使用不同的ascending参数。...对 DataFrame 的列进行排序 您还可以使用 DataFrame 的列标签对行值进行排序。使用设置为.sort_index()的可选参数将按列标签对 DataFrame 进行排序。...如果您对缺失数据的列进行排序，那么具有缺失值的行将出现在 DataFrame 的末尾。无论您是按升序还是降序排序，都会发生这种情况。
=1：差异堆叠在列/行上 keep_shape=False：不保留相等的值 keep_equal=False：不保留所有原始行和列 用法 例如，您可能想要比较两个DataFrame并并排堆叠它们的差异。...此功能允许将两个Series或DataFrame相互比较，以查看它们是否具有相同的形状和元素。 相同位置的NaN被认为是相等的。 列标题不必具有相同的类型，但是列中的元素必须具有相同的dtype。...此功能要求元素与其他Series或DataFrame中的元素具有相同的dtype。 但是，列标签不必具有相同的类型，只要它们仍被视为相等即可。...exactly_equal) # True DataFrames df和different_column_type具有相同的元素类型和值，但列标签具有不同的类型，它们仍将返回True。...即使它们的列标签具有相同的值和类型，它们也将返回False。
当您对具有相同键的多条记录进行排序时，稳定的排序算法将在排序后保持这些记录的原始顺序。因此，如果您计划执行多种排序，则必须使用稳定的排序算法。...如果有两个或更多相同的品牌，则按 排序model。在列表中指定列名的顺序对应于 DataFrame 的排序方式。 更改列排序顺序 由于您使用多列进行排序，因此您可以指定列的排序顺序。...对于文本数据，排序区分大小写，这意味着大写文本将首先按升序出现，最后按降序出现。 按具有不同排序顺序的多列排序 您可能想知道是否可以使用多个列进行排序并让这些列使用不同的ascending参数。...对 DataFrame 的列进行排序 您还可以使用 DataFrame 的列标签对行值进行排序。使用设置为.sort_index()的可选参数将按列标签对 DataFrame 进行排序。...如果您对缺失数据的列进行排序，那么具有缺失值的行将出现在 DataFrame 的末尾。无论您是按升序还是降序排序，都会发生这种情况。
删除缺失值：删除缺失值是最简单的处理方式，这种方式通过直接删除包含缺失值的行或列来达到目的，适用于删除缺失值后产生较小偏差的样本数据，但并不是十分有效。...需要说明的是，在分析演变规律、样本不均衡处理、业务规则等场景中，重复值具有一定的使用价值，需做保留。...-- 将缺失值出现的行全部删掉 na_df.dropna() 输出为： 保留至少有3个非NaN值的行： # 保留至少有3个非NaN值的行 na_df = pd.DataFrame({'A':...，仅保留最后一次出现的数据项；'False’表示所有相同的数据都被标记为重复项。...： 删除全部的重复值，但保留最后一次出现的值： # 删除重复值｜指定 # 删除全部的重复值，但保留最后一次出现的值 df.drop_duplicates(keep = 'last') 输出为：
程序的基本结构大体包含三种，即顺序结构、分支结构和循环结构，其中循环结构应该是最能体现重复执行相同动作的代码控制语句，因此也是最必不可少的一种语法（当然，顺序和分支也都是必不可少的- -!）。...但后来发现，实际上items()的返回值也是一个迭代器。进一步的，查看函数签名文档，发现二者其实就是一致的，甚至连iteritems文档中的example都用的items。...我个人总结为如下几个方面： 方便的以(columnName, Series)元组对的形式逐一遍历各行进行相应操作 以迭代器的形式返回，在DataFrame数据量较大时内存占用更为高效 另外，items是...示例DataFrame的各列信息 那么，如果想要保留DataFrame中各列的原始数据类型时，该如何处理呢？这就需要下面的itertuples。...对于具体功能而言： iteritems是面向列的迭代设计，items函数的功能目前与其相同； iterrows和itertuples都是面向行的迭代设计，其中iterrows以元组对的形式返回，但返回的各行
() # 通过分组将每年的数据放一块，再把相同年份的imdb_score聚合max 通过排序筛选评分最高的： movie2:DataFrame = movie[['movie_title','title_year...','imdb_score']] movie2.sort_values('title_year',ascending=False) # 针对某一列/几列值对整个df进行排序 movie3 = movie2...=True) 也可以使用concat函数添加列，与添加行的方法类似，需要多传一个axis参数 axis的默认值是index 按行添加 向DataFrame添加一列，不需要调用函数，通过dataframe...['列名'] = ['值'] 即可 通过dataframe['列名'] = Series对象 这种方式添加一列 数据连接 merge 数据库中可以依据共有数据把两个或者多个数据表组合起来，即join操作...方法 只能水平连接两个DataFrame对象 对齐是靠被调用的DataFrame的列或行索引和另一个DataFrame的列或行索引 默认是内连接（也可以设为左连接、外连接、右连接）
请注意，第一列中缺少某些条目：在多重索引表示中，任何空白条目都表示与其上方的行相同的值。...作为额外维度的MultiIndex 你可能会注意到其他内容：我们可以使用带有索引和列标签的简单DataFrame，来轻松存储相同的数据。事实上，Pandas 的构建具有这种等价关系。...重排多重索引 处理多重索引数据的关键之一，是知道如何有效地转换数据。有许多操作将保留数据集中的所有信息，但为了各种计算的目的重新排列它。...排序和未排序索引 早些时候，我们简要地提到了一个警告，但我们应该在这里强调一下。如果索引未排序，多数MultiIndex切片操作将失败。在这里我们来看看。...这个语法实际上是GroupBy函数的简写，我们将在“聚合和分组”中讨论。虽然这是一个玩具示例，但许多真实世界的数据集具有相似的层次结构。
它们的主要区别： concat支持多个 DataFrame 对象的水平和垂直排放，即可以列合并也可以行合并；但与merge不同，它的合并不基于列值匹配。...pd.concat既可以行合并，也可以列合并；并且沿着哪个轴合并，合并对象上该轴的索引将全部保留；例如按行合并（对应于axis=0），此时参与合并的所有 DataFrame 对象的行索引则全部保留，并且由上到下按序排列...pd.merge(df3, df4) concat并没有基于两个employee列的相同值匹配进行合并。...可选值包括： ‘left’：保留左侧 DataFrame 中的所有行，并将右侧 DataFrame 中与左侧匹配的行合并到结果中。...on：指定要合并的列（或列的名称）。如果两个 DataFrame 中的列名相同，并且没有指定该参数，则将这些列作为合并的键。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
