首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pandas 秘籍:1~5

通常,这些新列将从数据集中已有的先前列创建。 Pandas 有几种不同的方法可以向数据帧添加新列。 准备 在此秘籍中,我们通过使用赋值在影片数据集中创建新列,然后使用drop方法删除列。...准备 本秘籍涵盖了 EDA 的一小部分但又是基础部分:以常规方式和系统方式收集元数据和单变量描述性统计信息。 它概述了在首次将任何数据集作为 pandas 数据帧导入时可以执行的一组常见任务。...准备 此秘籍将大学数据集中的对象列之一的数据类型更改为特殊的 Pandas 分类数据类型,以大大减少其内存使用量。...同时选择数据帧的行和列 直接使用索引运算符是从数据帧中选择一列或多列的正确方法。 但是,它不允许您同时选择行和列。...该摘要序列用于将第十和九十个百分位存储为它们自己的变量。 步骤 3 使用布尔索引来仅选择分布的高和低十分之一的那些值。 序列和数据帧都具有通过plot方法的直接绘图函数。

37.6K10

精通 Pandas:1~5

name属性在将序列对象组合到数据帧结构等任务中很有用。 使用标量值 对于标量数据,必须提供索引。 将为尽可能多的索引值重复该值。...与 Numpy ndarrays相比,pandas 数据结构更易于使用且更加用户友好,因为在数据帧和面板的情况下,它们提供行索引和列索引。数据帧对象是 Pandas 中最流行和使用最广泛的对象。...在下一章中,我们将讨论 Pandas 索引的主题。 四、Pandas 的操作,第一部分 – 索引和选择 在本章中,我们将着重于对来自 Pandas 对象的数据进行索引和选择。...多重索引 现在我们转到多重索引的主题。 多级或分层索引很有用,因为它使 Pandas 用户可以使用序列和数据帧等数据结构来选择和按摩多维数据。...如果我们的数据帧具有多重索引,则可以使用groupby按层次结构的不同级别分组并计算一些有趣的统计数据。

19.2K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Pandas 秘籍:6~11

    每当索引标签对于一个对象唯一时,Pandas 默认为缺少值。 不幸的结果是,将序列的数据类型更改为float,而每个序列仅具有整数作为值。 发生这种情况是因为 NumPy 缺少值对象。...序列和数据帧的列必须具有齐次数值数据类型; 因此,每个值都转换为浮点数。 对于这个小的数据集,这几乎没有什么区别,但是对于较大的数据集,这可能会对内存产生重大影响。...准备 在本秘籍中,我们使用groupby方法执行聚合,以创建具有行和列多重索引的数据帧,然后对其进行处理,以使索引为单个级别,并且列名具有描述性。...默认情况下,Pandas 将使用数据帧的每个数字列制作一组新的条形,线形,KDE,盒形图或直方图,并在将其作为两变量图时将索引用作 x 值。 散点图是例外之一,必须明确为 x 和 y 值指定一列。...然后,我们使用to_period方法(也仅适用于索引中的日期时间)将索引中的值更改为 Pandas 时间段。

    34K10

    精通 Pandas 探索性分析:1~4 全

    我们将列名作为参数列表的第二部分传递,如下所示: zillow.loc[101:105, 'Metro'] 在这里,我们具有来自多行和一列的值。...)] 如您在前面的屏幕快照中所见,我们按State和Metro过滤了列,并使用过滤器列中的值创建了一个新的数据帧。...三、处理,转换和重塑数据 在本章中,我们将学习以下主题: 使用inplace参数修改 Pandas 数据帧 使用groupby方法的场景 如何处理 Pandas 中的缺失值 探索 Pandas 数据帧中的索引.../img/968d10dc-3dca-49ae-bac1-c15bc0f4250f.png)] 如您所见,索引已从0的简单数值更改为数据集中乘客的姓名。...我们看到了如何处理 Pandas 中缺失的值。 我们探索了 Pandas 数据帧中的索引,以及重命名和删除 Pandas 数据帧中的列。 我们学习了如何处理和转换日期和时间数据。

    28.2K10

    Pandas 学习手册中文第二版:1~5

    这是 Pandas 诞生的地方,它具有许多有用而强大的功能,例如: 快速高效的Series和DataFrame对象,通过集成索引进行数据处理 使用索引和标签进行智能数据对齐 整合处理缺失数据 将杂乱数据转换...例如,以下内容返回温度差的平均值: Pandas 数据帧 Pandas Series只能与每个索引标签关联一个值。 要使每个索引标签具有多个值,我们可以使用一个数据帧。...这些列是数据帧中包含的新Series对象,具有从原始Series对象复制的值。 可以使用带有列名或列名列表的数组索引器[]访问DataFrame对象中的列。...如果将整数传递给[],并且索引具有整数值,则通过将传入的值与整数标签的值进行匹配来执行查找。...使用这些属性被认为是最佳实践。 使用布尔选择来选择行 可以使用布尔选择来选择行。 当应用于数据帧时,布尔选择可以利用多列中的数据。

    8.3K10

    NumPy 和 Pandas 数据分析实用指南:1~6 全

    相反,您实际上得到的是指向相同数据的新指针。 如果您想要一个具有完全独立于其父代的相同数据的新数组,则将需要使用copy方法,我们将看到。...可以通过ndarray处理多类型的数据,但是此时您应该使用 pandas 数据帧,我们将在后面的部分中进行讨论。...我们将一个对象传递给包含将添加到现有对象中的数据的方法。 如果我们正在使用数据帧,则可以附加新行或新列。 我们可以使用concat函数添加新列,并使用dict,序列或数据帧进行连接。...虽然这些方法适用于具有通用数据类型的数据帧,但是不能保证它们将适用于所有数据帧。 数据帧的函数应用 毫不奇怪,数据帧提供了函数应用的方法。 您应注意两种方法:apply和applymap。...对于分层索引,我们认为数据帧中的行或序列中的元素由两个或多个索引的组合唯一标识。 这些索引具有层次结构,选择一个级别的索引将选择具有该级别索引的所有元素。

    5.4K30

    Iris: 比ScanContext更加精确高效的激光回环检测方法(IROS 2020)

    滤波器从Lidar-IRIS图像中深入提取特征: LoG-Gabor滤波器可用于将Lidar-IRIS区域中的数据分解为以不同分辨率出现的分量,与传统的傅里叶变换相比,它的优势在于允许频率数据局部化,允许在相同位置和分辨率进行特征匹配...一维Log-Gabor滤波器的频率响应如下: 利用八个1D LoG Gabor滤波器对Lidar-IRIS图像的每一行进行卷积,其中滤波器的波长增加相同的因子,从而得到每个滤波器的实部和虚部。...在下图中,第一幅图像显示了八个1D log-Gabor滤波器,第二幅图像显示了前四个滤波器卷积响应的实部和虚部: 尝试使用不同数量的LoG-Gabor滤波器进行特征提取,实验中发现四个LoG-Gabor...因此,可以保存所有关键帧获取的Lidar-IRIS二进制特征的历史数据库。当前关键帧和每个历史关键帧的Lidar-IRIS二值特征贴图之间的距离由汉明距离计算。...从左往右,每一列分别对应着KITTI00,KITTI05,KITTI08和作者采集的小规模和大规模数据集。

    1.4K20

    Iris: 比ScanContext更加精确高效的激光回环检测方法(IROS 2020)

    滤波器从Lidar-IRIS图像中深入提取特征: LoG-Gabor滤波器可用于将Lidar-IRIS区域中的数据分解为以不同分辨率出现的分量,与传统的傅里叶变换相比,它的优势在于允许频率数据局部化,允许在相同位置和分辨率进行特征匹配...一维Log-Gabor滤波器的频率响应如下: 利用八个1D LoG Gabor滤波器对Lidar-IRIS图像的每一行进行卷积,其中滤波器的波长增加相同的因子,从而得到每个滤波器的实部和虚部。...在下图中,第一幅图像显示了八个1D log-Gabor滤波器,第二幅图像显示了前四个滤波器卷积响应的实部和虚部: 尝试使用不同数量的LoG-Gabor滤波器进行特征提取,实验中发现四个LoG-Gabor...因此,可以保存所有关键帧获取的Lidar-IRIS二进制特征的历史数据库。当前关键帧和每个历史关键帧的Lidar-IRIS二值特征贴图之间的距离由汉明距离计算。...从左往右,每一列分别对应着KITTI00,KITTI05,KITTI08和作者采集的小规模和大规模数据集。

    1.2K20

    Python入门之数据处理——12种有用的Pandas技巧

    例如,我们想获得一份完整的没有毕业并获得贷款的女性名单。这里可以使用布尔索引实现。你可以使用以下代码: ? ? # 2–Apply函数 Apply是一个常用函数,用于处理数据和创建新变量。...“贷款数额”的各组均值可以以如下方式确定: ? ? # 5–多索引 如果你注意到#3的输出,它有一个奇怪的特性。每一个索引都是由3个值组合构成的。这就是所谓的多索引。它有助于快速执行运算。...多索引需要在loc中声明的定义分组的索引元组。这个元组会在函数中用到。 2. .values[0]后缀是必需的,因为默认情况下元素返回的索引与原数据框的索引不匹配。在这种情况下,直接赋值会出错。...现在,我们可以将原始数据帧和这些信息合并: ? ? 透视表验证了成功的合并操作。请注意,“value”在这里是无关紧要的,因为在这里我们只简单计数。...# 8–数据帧排序 Pandas允许在多列之上轻松排序。可以这样做: ? ? 注:Pandas的“排序”功能现在已不再推荐。我们用“sort_values”代替。

    5K50

    R语言函数的含义与用法,实现过程解读

    数据帧和列表的限制 1 组件必须是向量(数值型,字符形,逻辑型),因子,数值矩阵,列表,或其他数据帧; 2 矩阵,列表,数据帧向新数据帧提供的变量数分别等于它们的列数,元素数和变量数; 3 数值向量,...逻辑值和因子在数据帧中保持不变,字符向量将被强制转化为因子,其水平是字符向量中所出现的值; 4 数据帧中作为变量的向量结构必须具有相同的长度,而矩阵结构应当具有相同的行大小。...> detach(t) attach()是具有一般性的函数,即它不仅能够将目录和数据帧挂接在搜索路径上,还能挂接其他类别的对象。...数据帧使用惯例 1 将每个独立的,适当定义的问题所包含的所有变量收入同一个数据帧中,并赋予合适的、易理解、易辨识的名称; 2 处理问题时,当相应的数据帧挂接于位置2,同时在第1层工作目录下存放操作的数值和临时变量...plot(x): 如果x是一个时间序列,这个命令生成一个时间序列图,如果x是一个数值型向量,则生成一个向量值对它们向量索引的土,而如果x是一个复向量,则生成一个向量中元素的虚部对实部的图。

    5.8K30

    R语言函数的含义与用法,实现过程解读

    数据帧和列表的限制 1 组件必须是向量(数值型,字符形,逻辑型),因子,数值矩阵,列表,或其他数据帧; 2 矩阵,列表,数据帧向新数据帧提供的变量数分别等于它们的列数,元素数和变量数; 3 数值向量,...逻辑值和因子在数据帧中保持不变,字符向量将被强制转化为因子,其水平是字符向量中所出现的值; 4 数据帧中作为变量的向量结构必须具有相同的长度,而矩阵结构应当具有相同的行大小。...> detach(t) attach()是具有一般性的函数,即它不仅能够将目录和数据帧挂接在搜索路径上,还能挂接其他类别的对象。...数据帧使用惯例 1 将每个独立的,适当定义的问题所包含的所有变量收入同一个数据帧中,并赋予合适的、易理解、易辨识的名称; 2 处理问题时,当相应的数据帧挂接于位置2,同时在第1层工作目录下存放操作的数值和临时变量...plot(x): 如果x是一个时间序列,这个命令生成一个时间序列图,如果x是一个数值型向量,则生成一个向量值对它们向量索引的土,而如果x是一个复向量,则生成一个向量中元素的虚部对实部的图。

    4.7K120

    tf.dtypes

    在将复杂类型(complex64、complex128)转换为实类型时,只返回x的实部份。在将实类型转换为复杂类型(complex64、complex128)时,返回值的虚部设置为0。...这里对复杂类型的处理与numpy的行为相匹配。 参数: x:数值型张量或稀疏张量或索引切片。...输入张量实数和imag必须具有相同的形状。 参数: real:一个张量。必须是下列类型之一:float32、float64。 imag:张量。必须具有与实数相同的类型。...函数的作用是:将numpy类型和字符串类型名称转换为DType对象。 1、__init__ __init__(type_enum) 创建一个新的数据类型。...注意(mrry):在正常情况下,不应该直接构造数据类型对象。相反,使用tf.as_dtype()函数。 参数: type_enum: types_pb2。数据类型枚举值。

    80010

    12 种高效 Numpy 和 Pandas 函数为你加速分析

    二者在日常的数据分析中都发挥着重要作用,如果没有 Numpy 和 Pandas 的支持,数据分析将变得异常困难。但有时我们需要加快数据分析的速度,有什么办法可以帮助到我们吗?...比如,它会返回满足特定条件的数值的索引位置。...Pandas 数据统计包的 6 种高效函数 Pandas 也是一个 Python 包,它提供了快速、灵活以及具有显著表达能力的数据结构,旨在使处理结构化 (表格化、多维、异构) 和时间序列数据变得既简单又直观...简化将数据转换为 DataFrame 对象的过程,而这些数据基本是 Python 和 NumPy 数据结构中不规则、不同索引的数据; 基于标签的智能切片、索引以及面向大型数据集的子设定; 更加直观地合并以及连接数据集...当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用 copy () 函数。

    6.3K10

    加速数据分析,这12种高效Numpy和Pandas函数为你保驾护

    二者在日常的数据分析中都发挥着重要作用,如果没有 Numpy 和 Pandas 的支持,数据分析将变得异常困难。但有时我们需要加快数据分析的速度,有什么办法可以帮助到我们吗?...比如,它会返回满足特定条件的数值的索引位置。...Pandas 数据统计包的 6 种高效函数 Pandas 也是一个 Python 包,它提供了快速、灵活以及具有显著表达能力的数据结构,旨在使处理结构化 (表格化、多维、异构) 和时间序列数据变得既简单又直观...简化将数据转换为 DataFrame 对象的过程,而这些数据基本是 Python 和 NumPy 数据结构中不规则、不同索引的数据; 基于标签的智能切片、索引以及面向大型数据集的子设定; 更加直观地合并以及连接数据集...当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用 copy () 函数。

    6.7K20

    ApacheCN 数据科学译文集 20211109 更新

    NumPy 教程 NumPy 秘籍中文第二版 零、前言 一、使用 IPython 二、高级索引和数组概念 三、掌握常用函数 四、将 NumPy 与世界的其他地方连接 五、音频和图像处理 六、特殊数组和通用函数...五、布尔索引 六、索引对齐 七、分组以进行汇总,过滤和转换 八、将数据重组为整齐的表格 九、组合 Pandas 对象 十、时间序列分析 十一、Pandas,Matplotlib 和 Seaborn 的可视化...Pandas 学习手册中文第二版 零、前言 一、Pandas 与数据分析 二、启动和运行 Pandas 三、用序列表示单变量数据 四、用数据帧表示表格和多元数据 五、数据帧的结构操作 六、索引数据...和数据分析简介 二、Pandas 安装和支持软件 三、Pandas 数据结构 四、Pandas 的操作,第一部分 – 索引和选择 五、Pandas 的操作,第二部分 – 数据的分组,合并和重塑 六、处理缺失数据...五、Pandas 的算术,函数应用以及映射 六、排序,索引和绘图 精通 Pandas 探索性分析 零、前言 一、处理不同种类的数据集 二、数据选择 三、处理,转换和重塑数据 四、像专业人士一样可视化数据

    4.9K30

    30 个 Python 函数,加速你的数据分析处理速度!

    Pandas 是 Python 中最广泛使用的数据分析和操作库。它提供了许多功能和方法,可以加快 「数据分析」 和 「预处理」 步骤。...它可以对顺序数据(例如时间序列)非常有用。 8.删除缺失值 处理缺失值的另一个方法是删除它们。以下代码将删除具有任何缺失值的行。...df[['Geography','Exited','Balance']].sample(n=6).reset_index(drop=True) 17.将特定列设置为索引 我们可以将数据帧中的任何列设置为索引...例如,地理列具有 3 个唯一值和 10000 行。 我们可以通过将其数据类型更改为"类别"来节省内存。...30.设置数据帧样式 我们可以通过使用返回 Style 对象的 Style 属性来实现此目的,它提供了许多用于格式化和显示数据框的选项。例如,我们可以突出显示最小值或最大值。

    9.4K60

    加速数据分析,这12种高效Numpy和Pandas函数为你保驾护航

    二者在日常的数据分析中都发挥着重要作用,如果没有 Numpy 和 Pandas 的支持,数据分析将变得异常困难。但有时我们需要加快数据分析的速度,有什么办法可以帮助到我们吗?...比如,它会返回满足特定条件的数值的索引位置。...Pandas 数据统计包的 6 种高效函数 Pandas 也是一个 Python 包,它提供了快速、灵活以及具有显著表达能力的数据结构,旨在使处理结构化 (表格化、多维、异构) 和时间序列数据变得既简单又直观...简化将数据转换为 DataFrame 对象的过程,而这些数据基本是 Python 和 NumPy 数据结构中不规则、不同索引的数据; 基于标签的智能切片、索引以及面向大型数据集的子设定; 更加直观地合并以及连接数据集...当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用 copy () 函数。

    7.5K30

    NumPy、Pandas中若干高效函数!

    二者在日常的数据分析中都发挥着重要作用,如果没有 Numpy 和 Pandas 的支持,数据分析将变得异常困难。但有时我们需要加快数据分析的速度,有什么办法可以帮助到我们吗?...比如,它会返回满足特定条件的数值的索引位置。...Pandas数据统计包的6种高效函数 Pandas 也是一个 Python 包,它提供了快速、灵活以及具有显著表达能力的数据结构,旨在使处理结构化 (表格化、多维、异构) 和时间序列数据变得既简单又直观...Pandas 适用于以下各类数据: 具有异构类型列的表格数据,如SQL表或Excel表; 有序和无序 (不一定是固定频率) 的时间序列数据; 带有行/列标签的任意矩阵数据(同构类型或者是异构类型); 其他任意形式的统计数据集...当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用copy ()函数。

    6.6K20

    《C 语言复数运算:赋能人工智能信号处理新境界》

    复数,作为数学领域中一个极为特殊且富有深度的概念,由实部和虚部组成,通常表示为     的形式,其中   为实部,  为虚部,  为虚数单位满足    。...在 STFT 过程中,复数运算用于将音频信号的每一小段时间窗口内的数据转换为复数形式的频谱表示,然后人工智能算法可以对这些频谱数据进行分析,识别出语音中的音素、音节和单词等信息。...在 C 语言中进行复数运算,虽然 C 语言本身并没有直接内置复数类型,但我们可以通过结构体来定义复数数据类型。结构体中包含两个成员变量,分别表示复数的实部和虚部。...例如,复数的加法是实部与实部相加,虚部与虚部相加;复数的乘法则需要按照分配律展开并结合虚数单位的性质进行计算。 在人工智能信号处理算法中应用 C 语言实现的复数运算时,还需要考虑到算法的效率和精度。...例如,在进行复数乘法和除法运算时,可能会出现数值溢出或下溢的情况,需要采取适当的缩放策略或使用高精度的数据类型来避免这些问题。 复数运算在 C 语言环境下的人工智能信号处理算法中具有不可替代的重要性。

    10410

    jvm入门2:3-5运行时数据区+程序技术器+虚拟机栈

    进而函数调用就会占用更多的栈空间,导致其嵌套调用次数就会减少6局部变量表中的变量只在当前方法调用中有效。在方法执行时,虚拟机通过使用局部变量表完成参数值带参数变量列表的传递过程。...当方法调用结束后,随着方法栈帧的销毁,局部变量表也随之销毁slot理解1参数值的存放总是在局部变量数组的index0开始,到数组长度-1的索引结束;2局部变量表,最基本的存储单元是slot(变量槽);3...;4当一个实例方法被调用的时候,它的方法参数和方法内部定义的局部变量会按照顺序被复制盗局部变量表的一个slot上;5如果需要访问局部变量表中一个64bit的局部变量值时,只需要使用一个索引即可;6如果当前帧是由构造方法或者实例方法创建的...数据类型,32bit的类型占用一个栈单位深度,64bit的占两位5操作数栈并非采用访问索引的方式来进行数据访问,只能通过标准的入栈和出栈的操作完成一次数据访问6如果被调用的方法带有返回值的话,其返回值将会被压入当前栈帧的操作数栈中...使用索引表替代查找;2每个类在都有一个虚方法表,存放着各个方法的实际入口;3虚方法在不类加载的链接阶段创建并完成初始化,类的变量初始值准备完成后,jvm会把该类的方法也初始化完毕方法返回地址1存放调用该方法的

    9010
    领券