问： 假设我有这个脚本： export.bash #!.../usr/bin/env bash export VAR="HELLO, VAR" 当我执行脚本并尝试访问 $VAR 时，我没有得到任何值!...echo $VAR 有没有一种方法可以通过只执行 export.bash 而不 source 它获取 $VAR？ 答： 不可以。 但是有几种可能的解决办法。...最明显的方法，你已经提到过，是使用 source 或 ..../set-vars2.sh)" $ echo "$FOO" BAR 在终端上执行 help export 可以查看 Bash 内置命令 export 的帮助文档： # help export export
df['age'] = df['age'].astype(int) 设置索引 将一列设置为DataFrame的索引，可以方便我们进行后续的数据处理： # 设置索引 df.set_index('name...inner') 连接数据 在索引上连接数据，可以扩展DataFrame的行数： # 连接数据 result = pd.concat([df1, df2], axis=0) 数据分组 分组 根据某些条件将数据分组...，可以方便我们对数据进行分组处理： # 分组 grouped = df.groupby('age') 数据重塑 堆叠 将多层索引堆叠为单个索引，有助于简化数据结构： # 堆叠 df.stack() 解堆叠...() 相关性分析 计算DataFrame列之间的相关系数，可以帮助我们发现数据之间的潜在关系： # 相关性分析 df.corr() 数据导出 导出到CSV 将DataFrame导出到CSV文件，是数据共享和数据备份的常用方法...： # 导出到CSV df.to_csv('data.csv', index=False) 导出到数据库 将DataFrame导出到数据库，可以方便我们进行更复杂的数据分析和处理： # 导出到数据库 df.to_sql
导⼊数据 导出数据 查看数据 数据选取 数据处理 数据分组和排序 数据合并 # 在使用之前，需要导入pandas库 import pandas as pd 导⼊数据 这里我为大家总结7个常见用法。...pd.DataFrame() # 自己创建数据框，用于练习 pd.read_csv(filename) # 从CSV⽂件导⼊数据 pd.read_table(filename) # 从限定分隔符的⽂...进⾏分组后，列col2的均值,agg可以接受列表参数，agg([len,np.mean]) df.pivot_table(index=col1,values=[col2,col3],aggfunc={...) # 返回按列col1分组的所有列的均值,⽀持 df.groupby(col1).col2.agg(['min','max']) data.apply(np.mean) # 对DataFrame中的每...df1.append(df2) # 将df2中的⾏添加到df1的尾部 df.concat([df1,df2],axis=1,join='inner') # 将df2中的列添加到df1的尾部,值为空的对应
后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas 前言 这是本系列第16篇的文章，之前有小伙伴私信我说，这系列例子太简单了，能给点实际点的例子吗。...看专栏第9节内容 案例2 当你以为完成工作的时候，这时候上级又找到你，他希望每个部门的 Excel 文件，可以把男女数据分开2个工作表。...- 当按性别分组时，调用 to_excel 要传入 pd.ExcelWriter - exl.save()， 记得最后要保存文件 结果如下： 案例3 当你以为可以下班的时候，麻烦又一次找上你，...有了上次经验，简单添加判断 销售额 的语句就可以了： - is_over = x_df['销售额'] >= x_df['销售额'].mean() ，得到是否高于平均的值列，当然也是用这列值进行分组...总结 - DataFrame.to_excel ，一次输出 Excel 文件 - pd.ExcelWriter + DataFrame.to_excel ，一个文件输出多个工作表
小技巧 pandas生成数据 导入数据 导出数据 查看数据 数据选择 数据处理 数据分组 数据合并 数据替换--map映射 数据清洗--replace和正则 数据透视表分析--melt函数 将分类中出现次数较少的值归为...() # 自己创建数据框，用于练习 pd.read_csv(filename) # 从CSV⽂件导⼊数据 pd.read_table(filename) # 从限定分隔符的⽂本⽂件导⼊数据 pd.read_excel...进⾏分组后，列col2的均值,agg可以接受列表参数，agg([len,np.mean]) df.pivot_table(index=col1,values=[col2,col3],aggfunc={...) # 返回按列col1分组的所有列的均值,⽀持 df.groupby(col1).col2.agg(['min','max']) data.apply(np.mean) # 对DataFrame中的每...float'> 2 3 Name: sales, dtype: object 数据透视表分析–melt函数 melt是逆转操作函数，可以将列名转换为列数据
将2015~2020的数据按照同样的操作进行处理，并将它们拼接成一张大表，最后将每一个title对应的表导出到csv，title写入到index.txt中。...于是我搜索了How to partition DataFrame by column value in pandas?...boolean index stackoverflow里有人提问如何将离散数据进行二分类，把小于和大于某个值的数据分到两个DataFrame中。...groupby 同样是上面那个问题，有人提到可以使用groupby方法。groupby听着就很满足我的需求，它让我想起了SQL里面的同名功能。...df.groupby('ColumnName')可以进行遍历，结果是一个(name,subDF)的二元组，name为分组的元素名称，subDF为分组后的DataFrame 对df.groupby('ColumnName
Hello,大家好，我是陈晨~ 今天我来分享关于8 个常用pandas的 index设置 1. 将索引从 groupby 操作转换为列 groupby分组方法是经常用的。...set_index方法默认将创建一个新的 DataFrame。如果要就地更改df的索引，需要设置inplace=True。...索引的直接赋值 当我们有了一个 DataFrame 时，想要使用不同的数据源或单独的操作来分配索引。在这种情况下，可以直接将索引分配给现有的 df.index。...数据导出到 CSV 文件时，默认 DataFrame 具有从 0 开始的索引。...如果我们不想在导出的 CSV 文件中包含它，可以在to_csv方法中设置index参数。
将索引从groupby操作转换为列 分组是最常用的方法，让我们通过添加分组列来继续使用在上一步中创建的df0 。...，分组操作后创建的DataFrame就不是您需要的DataFrame了。...有两种方法可以完成所需的操作，如下所示。就我个人而言，我更喜欢第二种方法，它只涉及两个步骤。...索引的直接赋值 当有一个现有的DataFrame时，可能需要使用不同的数据源或来自单独的操作来分配索引。在这种情况下，可以直接将索引分配给现有的DataFrame。...在许多情况下，DataFrame具有基于0的索引。但是，我们不想在导出的CSV文件中包含它。在本例中，我们可以在to_csv方法中设置索引参数。
探索DataFrame 以下是查看数据信息的5个最常用的函数: df.head()：默认返回数据集的前5行，可以在括号中更改返回的行数。 示例： df.head(10)将返回10行。...下面的代码将平方根应用于“Cond”列中的所有值。 df['Cond'].apply(np.sqrt) 数据分组 有时我们需要将数据分组来更好地观察数据间的差异。...Pandas中提供以下几种方式对数据进行分组。 下面的示例按“Contour”列对数据进行分组，并计算“Ca”列中记录的平均值，总和或计数。...df.groupby(by=['Contour', 'Gp'])['Ca'].mean() 合并多个DataFrame 将两个数据合并在一起有两种方法，即concat和merge。...如果要将数据输出到由制表符分隔的csv文件，请使用以下代码。 '\t'表示您希望它以制表符分隔。
教课理念 有个人可能会问 NumPy-Pandas-SciPy 不都是免费资源吗，为什么还要花钱来上课？没错，我也是参考了大量书籍、优质博客和付费课程中汲取众多精华，才打磨出来的前七节课。...听着很绕口，但这样理解数组之后很多问题都可以轻易理解，比如： 高维数组的转置 数组的重塑和打平 不同维度上的整合 我为上面那句话画了三幅图，注意比较数组“想象中的样子”、“打印出的样子”和“内存里的样子...和索引切片列表相似又不相似) 怎么变形数组 (把数组用不同的样子来展示) 怎么计算数组 (这才是数组的最大用处) 总体内容用思维导图来表示，这也是我经常强调的系统化学东西。...DataFrame 数据帧可以看成是 数据帧 = 二维数组 + 行索引 + 列索引 在 Pandas 里出戏的就是行索引和列索引，它们 可基于位置 (at, loc)，可基于标签 (iat...这波操作称被 Hadley Wickham 称之为拆分-应用-结合，具体而言，该过程有三步： 在 split 步骤：将数据帧按照指定的“键”分组 在 apply 步骤：在各组上平行执行四类操作： 整合型
大家好，我是雅痞绅士JM ? 基础知识在数据分析中就像是九阳神功，熟练的掌握，加以运用，就可以练就深厚的内力，成为绝顶高手自然不在话下！...为了更好地学习数据分析，我对于数据分析中pandas这一模块里面常用的函数进行了总结。...整篇总结，在详尽且通俗易懂的基础上，我力求使其有很强的条理性和逻辑性，所以制作了思维导图，对于每一个值得深究的函数用法，我也会附上官方链接，方便大家继续深入学习。...DataFrame中都可以找到。...思维导图 ?
前言 你有想过在 pandas 中直接使用 sql吗？我知道许多小伙伴已经知道一些库也可以做到这种体验，不过他们的性能太差劲了(基于sqlite，或其他服务端数据库)。...直接使用 dataframe 的变量名作为表名查询 这真的可以做到吗？...我知道之前就有其他的库可以做到这种体验，但是必需强调，duckdb 是直接使用 dataframe 的内存数据(因为底层数据格式通用)，因此，这个过程中的输入和输出数据的传输时间几乎可以忽略不计。...但是，我说 duckdb 有极致的使用体验，不仅仅只是可以直接使用 dataframe 变量名作为表名写 sql 。而是它提供了许多 sql 引擎没有的优化语法体验。...别名用在过滤条件中： 自动识别分组列名： 它还有许多有意思的特性，如果希望我后续做更多的教学，评论区告诉我。
使用Nodes，你可以在微信中绘制基本的思维导图，并将其分享给微信好友；你还能将已绘制好的思维导图保存为为图像文件到手机相册，或通过微信中的文件传输助手发送到电脑端，以便日后查阅。...将思维导图导出到手机或电脑 ? 6.1 导出到手机相册 绘制好思维导图后，在当前界面点击右下方的“保存”按钮以将思维导图转化成图片文件。 等待几秒后，Nodes将会打开一个新的窗口显示图片文件。...6.2 导出到电脑 绘制好思维导图后，在当前界面点击右下方的“保存”按钮以将思维导图转化成图片文件。 等待几秒后，Nodes将会打开一个新的窗口显示图片文件。...7.如果从小程序列表中删除了Nodes，我之前创建的思维导图也会永久删除吗？ 不会，因为Nodes会自动将已完成的思维导图备份到云端。只有在Nodes小程序里点击删除按钮才能永久删除思维导图。...在小程序主界面点击右上角的“更多”按钮，选择添加到桌面 即可。 9.我要如何降低新增子主题时的失误率？ 稍微增加长按主题的时间可以降低失误率。 10.我要如何避免缩放时的误操作？
基础知识在数据分析中就像是九阳神功，熟练的掌握，加以运用，就可以练就深厚的内力，成为绝顶高手自然不在话下！ 为了更好地学习数据分析，我对于数据分析中pandas这一模块里面常用的函数进行了总结。...整篇总结，在详尽且通俗易懂的基础上，我力求使其有很强的条理性和逻辑性，所以制作了思维导图，对于每一个值得深究的函数用法，我也会附上官方链接，方便大家继续深入学习。...DataFrame中都可以找到。...(['Thailand'])] # 将产地是泰国的数据进行提取 输出结果： ?...思维导图 ?
ExcelWriter 很多时候dataframe里面有中文，如果直接输出到csv里，中文将显示乱码。...而Excel就不一样了，ExcelWriter是pandas的一个类，可以使dataframe数据框直接输出到excel文件，并可以指定sheets名称。...另外，它还可以通过mode设置输出到已有的excel文件中，非常灵活。...这部分可以参考我之前写的骚操作系列：Squeeze 类型压缩小技巧！...如果想统计空值，可以将参数dropna设置为False。
series是一种一维数据结构，每一个元素都带有一个索引，与一维数组的含义相似，其中索引可以为数字或字符串。series结构名称： ?...# 方法 ser.map(lambda x: len(x)) #> 0 3 1 2 2 4 3 4 dtype: int64 19.如何计算series的一阶导和二阶导...如何将dataframe中的所有值以百分数的格式表示 df = pd.DataFrame(np.random.random(4), columns=['random']) # 格式化为小数点后两位的百分数...如何计算分组dataframe的平均值，并将分组列保留为另一列 df = pd.DataFrame({'fruit': ['apple', 'banana', 'orange'] * 2,...如何将文本拆分为两个单独的列 df = pd.DataFrame(["STD, City State", "33, Kolkata West Bengal", "44, Chennai
set_index方法默认将创建一个新的 DataFrame。如果要就地更改df的索引，需要设置inplace=True。...同样，如果要就地重置索引，可设置inplace参数为True，否则将创建一个新的 DataFrame。 4. 将索引从 groupby 操作转换为列 groupby分组方法是经常用的。...索引的直接赋值 当我们有了一个 DataFrame 时，想要使用不同的数据源或单独的操作来分配索引。在这种情况下，可以直接将索引分配给现有的 df.index。...数据导出到 CSV 文件时，默认 DataFrame 具有从 0 开始的索引。...如果我们不想在导出的 CSV 文件中包含它，可以在to_csv方法中设置index参数。
ExcelWriter 很多时候dataframe里面有中文，如果直接输出到csv里，中文将显示乱码。...而Excel就不一样了，ExcelWriter是pandas的一个类，可以使dataframe数据框直接输出到excel文件，并可以指定sheets名称。...另外，它还可以通过mode设置输出到已有的excel文件中，非常灵活。...这部分可以参考我之前写的骚操作系列：Squeeze 类型压缩小技巧！...具体来说，分组后，nth返回每组的第n行： >>> diamonds.groupby("cut").nth(5) 原创不易，欢迎点赞、留言、分享，支持我继续写下去。
本文主要会涉及到：读取txt文件,导出txt文件，选取top/bottom记录，描述性分析以及数据分组排序; ? 创建数据 该数据集将包括1,000个婴儿名称和该年度记录的出生人数（1880年）。...我们现在将使用pandas库将此数据集导出到csv文件中。 df将是一个 DataFrame对象。您可以将此对象视为以类似于sql表或excel电子表格的格式保存BabyDataSet的内容。...将数据框导出到文本文件。我们可以将文件命名为births1880.txt。函数to_csv将用于导出。除非另有说明，否则文件将保存在运行环境下的相同位置。 ?...现在让我们看看dataframe的最后五个记录 ? 如果我们想给列特定的名称，我们将不得不传递另一个名为name的参数。我们也可以省略header参数。 ?...您可以将数字[0,1,2,3,4，...]视为Excel文件中的行号。在pandas中，这些是dataframe索引的一部分。您可以将索引视为sql表的主键，但允许索引具有重复项。
导致Pandas使用起来有杂乱无章的感觉，特别是对于初学者，这种体会尤为强烈。 但是，Pandas真的“乱”吗？ 先来讲讲Pandas”乱“的原因，再详细说说怎么有效学Pandas。...Pandas有两种数据结构，DataFrame和Series。 DataFrame是二维数组，Series是一维数组，DataFame类似于Excel表格，有行和列，这是用的最多的数据形式。...接下来是Pandas中主要的几种操作方法，这里可以参考Pandas官方的cheetsheet导图来看，非常的详细且清晰。...其次是创建DataFrame操作，这是最常遇到的场景之一，使用pd.DataFrame()方法。...分组操作也是经常会遇到的数据处理任务，熟悉Excel透视的都会知道，在Pandas里通过df.groupby()方法实现。
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
