首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python数据科学系列:pandas入门详细教程

、数据分析和数据可视化全套流程操作 pandas主要面向数据处理与分析,主要具有以下功能特色: 按索引匹配的广播机制,这里的广播机制与numpy广播机制还有很大不同 便捷的数据读写操作,相比于numpy...前者是将已有的一列信息设置为标签列,而后者是将原标签列归为数据,并重置为默认数字标签 set_axis,设置标签列,一次只能设置一列信息,与rename功能相近,但接收参数为一个序列更改全部标签列信息(...isin/notin,条件范围查询,即根据特定列值是否存在于指定列表返回相应的结果 where,仍然是执行条件查询,但会返回全部结果,只是将不满足匹配条件的结果赋值为NaN或其他指定值,可用于筛选或屏蔽值...如下实现对数据表中逐元素求平方 ? 广播机制,即当维度或形状不匹配时,会按一定条件广播后计算。...仍然考虑前述学生成绩表的例子,但是再增加一列班级信息,需求是统计各班级每门课程的平均分。

15K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    机器学习三剑客之NumpyNumpy计算(重要)

    NumPy是Python语言的一个扩充程序库。支持高级大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。...Numpy简单创建数组 import numpy as np # 创建简单的列表 a = [1, 2, 3, 4] # 将列表转换为数组 b = np.array(b) Numpy查看数组属性 数组元素个数...([10, 10]) 创建10行10列的数值为浮点0的矩阵 array_zero = np.zeros([10, 10]) 从现有的数据创建数组 array(深拷贝) asarray(浅拷贝) Numpy...) stus_score = np.array([[80, 88], [82, 81], [84, 75], [86, 83], [75, 81]]) # 求每一列的最大值(0表示列) print("每一列的最大值为...75, 81]]) # 求每一行的最小值(0表示列) print("每一列的最小值为:") result = np.amin(stus_score, axis=0) print(result) # 求每一行的最小值

    88360

    Python3快速入门(十二)——Num

    (O):数组拥有自己所使用的内存或从另一个对象中借用 WRITEABLE (W:)数据区域可以被写入,将值设置为 False,则数据为只读。..._NoValue) 根据指定轴统计矩阵的最大值,axis=0统计矩阵中每一列的最大值,axis=1统计矩阵中每一行的最大值,默认统计矩阵中的最大值。..._NoValue) 根据指定轴统计矩阵的最小值,axis=0统计矩阵中每一列的最小值,axis=1统计矩阵中每一行的最小值,默认统计矩阵中的最小值。..._NoValue) 根据指定轴统计矩阵的方差,axis=0统计矩阵中每一列的方差,axis=1统计矩阵中每一行的方差,默认统计矩阵中的方差。..._NoValue) 根据指定轴统计矩阵的求和,axis=0统计矩阵中每一列的求和,axis=1统计矩阵中每一行的求和,默认统计矩阵中的求和。

    4.7K20

    Python数据分析作业一:NumPy库的使用

    二、题目及答案解析 1、导入Numpy包并设置随机数种子为666 import numpy as np np.random.seed(666) 2、创建并输出一个包含12个元素的随机整数数组r1,元素的取值范围在...r1[[0, -1], -2:]使用了花式索引来选取数组中的特定行和列。...输出结果: [[1 1 2] [1 2 1] [1 1 1] [1 1 1]] 11、对r1数组的每一列按降序排序,排序结果放在数组r2中并输出 r2 = np.sort(r1,axis=0)[:...:-1,:] r2 np.sort(r1, axis=0)使用 NumPy 的sort()函数对二维数组r1按列进行排序,其中axis=0表示沿着列的方向进行排序,即每一列都会单独排序。...r1-r1.mean(axis=1, keepdims=True)使用了广播(broadcasting)的特性,将数组r1中的每行元素都减去对应行的平均值,得到每行元素与平均值的差,最后将这些结果存储在数组

    2600

    NumPy基础

    参考链接: Python中的numpy.log1p 文章目录  一、创建数组二、数组操作类型1. 数组属性2. 数组索引:获取单个元素3. 切片4. 数组的变形5....,值为内存空间中任意值 np.random.seed(0)    #设置随机数种子 二、数组操作类型  1....将布尔数组作为掩码  # 利用比较运算符得到布尔数组,通过索引将特定值选出,即掩码操作 x < 5         #输出布尔数组 x[x 条件的值 # 构建掩码 rainy...x[i]     #结果等同np.sort(x) # 沿着多维数组的行或列排序(将行或列作为独立数组,行列值之间的关系将丢失) np.sort(X, axis=0)     #对X的每一列排序 np.sort...(X, axis=1)     #每一行排序 部分排序:分隔  不对整个数组进行排序,只需找到数组中第K小的值。

    1.3K30

    Python:Numpy详解

    axis=0,表示沿着第 0 轴进行操作,即对每一列进行操作;axis=1,表示沿着第1轴进行操作,即对每一行进行操作。 ...然后,分别设置起始,终止和步长的参数为 2,7 和 2。 ...numpy.amax() 用于计算数组中的元素沿指定轴的最大值。  numpy.ptp() numpy.ptp()函数计算数组中元素最大值与最小值的差(最大值 - 最小值)。 ...numpy.lexsort() numpy.lexsort() 用于对多个序列进行排序。把它想象成对电子表格进行排序,每一列代表一个序列,排序时优先照顾靠后的列。 ...numpy.extract() numpy.extract() 函数根据某个条件从数组中抽取元素,返回满条件的元素。  NumPy 字节交换  在几乎所有的机器上,多字节对象都被存储为连续的字节序列。

    3.6K00

    2022-09-25:给定一个二维数组matrix,数组中的每个元素代表一棵树的高度。 你可以选定连续的若干行组成防风带,防风带每一列的防风高度为这一列的最大值

    2022-09-25:给定一个二维数组matrix,数组中的每个元素代表一棵树的高度。...你可以选定连续的若干行组成防风带,防风带每一列的防风高度为这一列的最大值 防风带整体的防风高度为,所有列防风高度的最小值。...比如,假设选定如下三行 1 5 4 7 2 6 2 3 4 1、7、2的列,防风高度为7 5、2、3的列,防风高度为5 4、6、4的列,防风高度为6 防风带整体的防风高度为5,是7、5、6中的最小值 给定一个正数...k,k 的行数,表示可以取连续的k行,这k行一起防风。...求防风带整体的防风高度最大值。 答案2022-09-25: 窗口内最大值和最小值问题。 代码用rust编写。

    2.6K10

    不一样的 NumPy教程,数值处理可视化

    创建完数组,就可以开始通过有趣的方式处理它们了。 数组的运算 建立两个NumPy数组以展现其实用性。将其称作“data”和“ones”: ? 将每列的值相加,键入“ data + ones”: ?...只有当不同的维度为1时(例如,矩阵只有一行或一列),才能在不同大小的矩阵上进行运算。在这种情况下,NumPy会对这一操作使用其broadcast机制: ?...在该图下方,笔者添加了矩阵维度,以强调两个矩阵在其与对方匹配的一侧必须具有相同维度。将操作可视化,就会如下所示: ? 矩阵索引 在处理矩阵时,索引分片操作会更有用: ?...矩阵聚合 聚合矩阵的方式跟聚合向量相同: ? 不仅可以在矩阵中聚合所有值,还可以通过使用axis参数跨行跨列进行聚合: ? 转置与重塑 旋转矩阵是处理矩阵的常见需求之一。...很多都适用于在n维数组中数据表达: 表格 · 值的表格是个二维矩阵。表格中的每一张工作簿都会有其自己的变量。

    1.3K20

    Numpy常用操作

    数组生成: np.arange(0,10) 生成[0,10)的顺序矩阵 np.zeros((3,2)) 生成尺寸为(3,2)的全0矩阵 np.random.rand(4,3) # 0~1...(a,b) data.T 数组转置 data.I 矩阵求逆 矩阵插入一行或一列 np.tile(data, repeat) 矩阵复制, data为要实施复制的矩阵,repeat为各个维度分别重复的次数,...np.array([1,2,3]) np.tile(t, [3,1]) Out: array([[1, 2, 3], [1, 2, 3], [1, 2, 3]]) 数组统计: a.argmax(axis=0) 求每一行或每一列的最大值的索引...(a) 2.5 >>> np.mean(a, axis=0) # axis=0,计算每一列的均值 array([ 2., 3.]) >>> np.mean(a, axis=1) # 计算每一行的均值...array([ 1.5, 3.5]) 数组保存: numpy.save("filename.npy",a) 利用这种方法,保存文件的后缀名字一定会被置为.npy,这种格式最好只用 numpy.load

    15420

    Python数学建模算法与应用 - 常用Python命令及程序注解

    最后,通过将 filtered_nums 转换为列表来打印出满足条件的元素。 filter 函数在对可迭代对象进行筛选和过滤时非常有用,可以根据特定条件选择需要的元素。...c1 = sum(a) 使用内置函数 sum() 对数组 a 进行逐列求和,将每列元素的和累加,将结果保存在变量 c1 中。这里的 sum() 函数会将每一列作为可迭代对象进行求和。...结果将返回一个一维数组,其中包含每一列元素的和: [5, 7, 9] 因此,axis=0 是逐列求和,对每一列的元素进行求和,返回一个包含每一列和的一维数组。...首先,我们确定维度匹配。矩阵 A 是一个2×3的矩阵,矩阵 B 是一个3×2的矩阵,它们的列数和行数相等,满足维度匹配的条件。因此,它们可以相乘得到一个2×2的结果矩阵。...a.loc['a', 'one'] = np.nan 这行代码将第一行第一列的值设置为 NaN(缺失值)。使用 .loc 可以通过行和列标签进行索引和修改。

    1.5K30

    基于Jupyter快速入门Python|Numpy|Scipy|Matplotlib

    在 Python 中,布尔值是用来表示真(True)或假(False)的值。布尔值可以用于条件语句、循环和逻辑运算。...例如,假设希望将一个常量向量加到矩阵的每一行,可以这样做: import numpy as np # 将向量v加到矩阵x的每一行, # 结果存储在矩阵y中 x = np.array([[1,2,3],...看看这个使用广播功能的版本: import numpy as np # 将向量v加到矩阵x的每一行, # 结果存储在矩阵y中 x = np.array([[1,2,3], [4,5,6], [7,8,9...]]) # x的形状是(2, 3),v的形状是(3,),它们可以广播到(2, 3), # 从而产生以下矩阵: # [[2 4 6] # [5 7 9]] print(x + v) # 将一个向量加到矩阵的每一列...# 如果转置x,其形状变为(3, 2),可以与w广播 # 以得到一个形状为(3, 2)的结果;再次转置这个结果 # 就得到了最终形状为(2, 3)的矩阵,即每列都加上了向量w。

    72010

    教程 | 基础入门:深度学习矩阵运算的概念和代码实现

    标量运算 标量运算即为向量和数字间的运算。向量与数的运算就是向量内每一个元素与这一个数进行相应的运算。如下图的一个标量运算: ? 向量间运算 在向量间的运算中,对应位置的值可以组合而产生一个新向量。...第一个向量的第 i 个值只与第二个向量的第 i 个值相匹配。这也就意味着向量之间的维度必须相等才能进行运算。下图表明向量之间的加减法是对应元素之间的加减,代码表明了向量之间的加减和除法。 ?...旋转矩阵 90 度 2. 将每一行的元素都反向写一遍 以下我们将矩阵 M 转置为矩阵 T ?...第一个矩阵每一行的维度和第二个矩阵每一列的维度相等,所以第一个矩阵第 i 行元素与第二个矩阵第 j 列对应元素的乘积和就等于新矩阵的第 i 行第 j 列的元素值。...从最开始的特征输入,我们会使用一个个高维向量将特征输入到神经网络中,而每一层的权重作为列向量组成一个权重矩阵。

    2.5K130

    python学习笔记第三天:python之numpy篇!

    区间的随机数数组: 四、数组操作 简单的四则运算已经重载过了,全部的'+','-','*','/'运算都是基于全部的数组元素的,以加法为例: 这里可以发现,a中虽然仅有一个与元素是浮点数,其余均为整数...矩阵对象和数组的主要有两点差别:一是矩阵是二维的,而数组的可以是任意正整数维;二是矩阵的'*'操作符进行的是矩阵乘法,乘号左侧的矩阵列和乘号右侧的矩阵行要相等,而在数组中'*'操作符进行的是每一元素的对应相乘...好办,"linspace"就可以做到: 回到我们的问题,矩阵a和b做矩阵乘法: 五、数组元素访问 数组和矩阵元素的访问可通过下标进行,以下均以二维数组(或矩阵)为例: 可以通过下标访问来修改数组元素的值...下面这个例子是将第一列大于5的元素(10和15)对应的第三列元素(12和17)取出来: 可使用where函数查找特定值在数组中的位置: 六、数组操作 还是拿矩阵(或二维数组)作为例子,首先来看矩阵转置:...七、缺失值 缺失值在分析中也是信息的一种,NumPy提供nan作为缺失值的记录,通过isnan判定。

    2.7K50

    完整图解:特征工程最常用的四个业务场景演示

    数据检测、筛选、处理是特征工程中比较常用的手段,常见的场景最终都可以归类为矩阵的处理,对矩阵的处理往往会涉及到 阈值处理 特征拼接、记录拼接 多条记录中筛选包含特定值的记录 取top N的值 对于矩阵的处理没有趁手的兵器可不行...,python中比较强大的库numpy与pandas是最常用的两种。...本文将引入四个业务场景来介绍以上矩阵处理方法。 阈值处理 以单通道图片的提高背景亮度为例,把小于100的灰度值都设置为200。...思路应该是: 定位label==4的分别在第几行,或者说index等于多少,获取这样一列数组 根据得到的index数据,分别从matrix中取出。...当然不仅仅可以用于一维的索引查找,二维矩阵依然能够定位特定值的位置。 np.where(trains==4) ? 可以看到返回了两个独立的数组,很明显第一个数组是坐标$X$,第二个数组是坐标$Y$。

    1.1K20

    完整图解:特征工程最常用的四个业务场景演示 | 文末留言送书

    第二期文末留言送书活动~开启~ 数据检测、筛选、处理是特征工程中比较常用的手段,常见的场景最终都可以归类为矩阵的处理,对矩阵的处理往往会涉及到 阈值处理 特征拼接、记录拼接 多条记录中筛选包含特定值的记录...取top N的值 对于矩阵的处理没有趁手的兵器可不行,python中比较强大的库numpy与pandas是最常用的两种。...本文将引入四个业务场景来介绍以上矩阵处理方法。 阈值处理 以单通道图片的提高背景亮度为例,把小于100的灰度值都设置为200。...思路应该是: 定位label==4的分别在第几行,或者说index等于多少,获取这样一列数组 根据得到的index数据,分别从matrix中取出。...当然不仅仅可以用于一维的索引查找,二维矩阵依然能够定位特定值的位置。 np.where(trains==4) ? 可以看到返回了两个独立的数组,很明显第一个数组是坐标$X$,第二个数组是坐标$Y$。

    1.1K20

    教程 | NumPy常用操作

    NumPy 是 Python 语言的一个扩充程序库。支持高效的多数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。NumPy 的科学计算十分高效,因此弥补了 Python 在运算效率上的不足。...如下我们给定参数 axis=1,其代表将每一行的元素累加为一个标量值。...例如它会隐式地把一个数组的异常维度调整到与另一个算子相匹配的维度以实现维度兼容。...所以将一个维度为 [3,2] 的矩阵与一个维度为 [3,1] 的矩阵相加是合法的,NumPy 会自动将第二个矩阵扩展到等同的维度。...1 2] [0 3]] 运算矩阵的迹: >>> print np.trace(a) 4 此外,numpy.linalg 模块中有很多关于矩阵运算的方法,如下据算矩阵的特征值与特征向量: >>> import

    2.1K40

    Python数据分析笔记——Numpy、Pandas库

    一维数组的索引 多维数组的索引 (2)切片索引 一维数组的切片索引(与Python列表的切片索引一样) 多维数组的切片索引 (3)花式索引 元素索引和切片索引都是仅局限于连续区域的值,而花式索引可以选取特定区域的值...也可以给某一列赋值一个列表或数组,其长度必须跟DataFrame长度相匹配。如果赋值的是一个Series,则对应的索引位置将被赋值,其他位置的值被赋予空值。...(2)DataFrame与Series之间的运算 将DataFrame的每一行与Series分别进行运算。...obj.rank() (2)DataFrame数据结构的排序和排名 按索引值进行排列,一列或多列中的值进行排序,通过by将列名传递给sort_index. 5、缺失数据处理 (1)滤出缺失数据 使用data.dropna...相当于Excel中vlookup函数的多条件查找中的多条件。 对于层次化索引对象,选取数据的方式可以通过内层索引,也可以通过外层索引来选取,选取方式和单层索引选取的方式一致。

    6.4K80

    NumPy 笔记(超级全!收藏√)

    axis=0,表示沿着第 0 轴进行操作,即对每一列进行操作;axis=1,表示沿着第1轴进行操作,即对每一行进行操作。 ...(F)数据是在一个单一的Fortran风格的连续段中OWNDATA (O)数组拥有它所使用的内存或从另一个对象中借用它WRITEABLE (W)数据区域可以被写入,将该值设置为 False,则数据为只读...数组元素的添加与删除  函数元素及描述resize返回指定形状的新数组append将值添加到数组末尾insert沿指定轴将值插入到指定下标之前delete删掉某个轴的子数组,并返回删除后的新数组unique...numpy.amax() 用于计算数组中的元素沿指定轴的最大值。  numpy.ptp()  numpy.ptp()函数计算数组中元素最大值与最小值的差(最大值 - 最小值)。 ...numpy.lexsort()  numpy.lexsort() 用于对多个序列进行排序。把它想象成对电子表格进行排序,每一列代表一个序列,排序时优先照顾靠后的列。

    4.6K30

    从零开始深度学习(九):神经网络编程基础

    1、python中的广播 这是一个不同食物(每100g)中不同营养成分的卡路里含量表格,表格为3行4列,列表示不同的食物种类,从左至右依次为苹果(Apples),牛肉(Beef),鸡蛋(Eggs),土豆...使用两行代码就可以完成整个过程,第一行代码对每一列进行求和,第二行代码分别计算每种食物每种营养成分的百分比。...来看一些广播的例子: 在 numpy 中,当一个 的列向量与一个常数做加法时,实际上会将常数扩展为一个 的列向量,然后两者做逐元素加法。结果就是右边的这个向量。...可以使用代码 A.shape[-1] 即矩阵维度元组中的最后一个位置的值,就是矩阵维度的最后一个维度,比如卡路里计算的例子中,矩阵 后缘维度的轴长度是4,而矩阵 的后缘维度也是4,故满足了后缘维度轴长度相符的条件...所以在编写神经网络时,不要使用 shape 为 (5,)、(n,) 或者其他一维数组的数据结构。相反,设置 为 ,这样就是一个5行1列的向量。

    1.3K20
    领券