获取分层pandas数据帧中的先前值
在Pandas中，分层数据帧（也称为分组数据帧）是指按一个或多个键进行分组的数据帧。要获取分层数据帧中的先前值，通常指的是在分组内获取某个特定键或索引之前的值。
基础概念
Pandas提供了groupby方法来对数据进行分组，然后可以使用各种聚合函数来处理这些分组。但是，Pandas没有直接的方法来获取分组内的先前值，需要使用一些技巧来实现这一点。
相关优势
获取分组内的先前值可以帮助分析数据的时间序列特性，比如计算移动平均、差分或者其他基于时间窗口的统计量。
类型
在Pandas中，可以通过以下几种方式来获取分组内的先前值：
- 使用
shift()方法结合groupby()。 - 使用
expanding()方法结合groupby()。 - 使用
rolling()方法结合groupby()。
应用场景
这种技术在金融分析、时间序列分析、任何需要按组内顺序处理数据的场景中都非常有用。
示例代码
假设我们有一个包含时间序列数据的分层数据帧，我们想要获取每个分组中每个时间点的上一个值。
import pandas as pd
# 创建一个示例数据帧
data = {
'group': ['A', 'A', 'B', 'B', 'A', 'B'],
'time': [1, 2, 1, 2, 3, 3],
'value': [10, 20, 30, 40, 50, 60]
}
df = pd.DataFrame(data)
# 按'group'和'time'排序
df = df.sort_values(by=['group', 'time'])
# 使用shift()获取先前值
df['previous_value'] = df.groupby('group')['value'].shift(1)
print(df)输出
group time value previous_value
0 A 1 10 NaN
1 A 2 20 10.0
4 A 3 50 20.0
2 B 1 30 NaN
3 B 2 40 30.0
5 B 3 60 40.0遇到的问题及解决方法
如果在尝试获取先前值时遇到NaN值，这通常是因为在分组内的第一个元素没有前一个值。可以通过填充这些NaN值来解决这个问题，例如使用fillna()方法。
# 填充NaN值
df['previous_value'] = df.groupby('group')['previous_value'].fillna(method='ffill')这将使用前向填充来替换NaN值，即使用分组内的第一个有效值来填充。
参考链接
以上就是在Pandas中获取分层数据帧先前值的基础概念、优势、类型、应用场景以及遇到问题的解决方法。
相关·内容
如果我在MultiIndex实例本身中包含了所有需要的数据，我可以在不附加到数据帧的情况下查询它，以避免可能的开销吗？
例如：
In [664]: import pandas as pd
In [665]: index = pd.MultiIndex.from_product([['A', 'B'], [1, 2, 3, 4, 5]])
In [666]: df = pd.DataFrame(index=index)
In [667]: df
Out[667]:
Empty DataFrame
Columns: []
Index: [(A, 1), (A
浏览 12提问于2017-06-19得票数 2
既然pandas提供了数据帧结构，那么numpy中还需要结构化/记录数组吗？我需要对需要这种结构化数组类型框架的现有代码进行一些修改，但从现在开始，我正在考虑使用pandas代替它。我会不会发现我需要一些pandas不提供的结构化/记录数组的功能？
浏览 2提问于2012-08-21得票数 22
回答已采纳
我有一个名为mclass的类，它应该用作主程序中的tkinter对象。在这个类中，我有几个tkinter按钮，其中一个应该能够编辑熊猫数据帧并在全局范围内进行更改。 下面是代码，感兴趣的函数是self.save_data()，pandas数据帧table_cat应该由按钮self.saving进行编辑。我尝试了很多不同的东西，但由于某些原因，这些变化不会在原始数据帧中发生。 #some pandas dataframe with 10000 rows .. the column structure is given below
table_cat=pd.DataFrame(columns=[
浏览 10提问于2020-12-18得票数 0
有没有办法检查当前行中的所有列值是否小于pandas数据帧(整个数据帧)中所有前一行(直到当前行)中的相应列值，并相应地创建一个值为1或0的新列？
浏览 0提问于2017-06-15得票数 1
我一直在尝试通过定位包含字符串negative的单元格来重新排序pandas中的数据帧，删除此行，并在数据帧中添加一个新列，以区分包含字符串negative的单元格之前的行，并将其称为'POSITIVE'，而在字符串之后的行，则称为'NEGATIVE'。 这是数据帧的最小示例： d = {'col1': [1, 2, 'negative', 4,5],
'col2': [6,7,None, 8,9],
'col3':[10,11,None,12,13] }
data = pd.DataFram
浏览 8提问于2020-09-22得票数 2
回答已采纳
1回答
最近，我观察到熊猫的乘法速度更快。我在下面的示例中向您展示了这一点。在如此简单的操作上，这怎么可能呢？这怎么可能呢？pandas数据帧中的底层数据容器是numpy数组。
测量
我使用带形状(10k，10k)的数组/数据帧。
import numpy as np
import pandas as pd
a = np.random.randn(10000, 10000)
d = pd.DataFrame(a.copy())
a.shape
(10000, 10000)
d.shape
(10000, 10000)
%%timeit
d * d
53.2 ms ± 333 µs per loop
浏览 1提问于2020-06-17得票数 2
在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
2回答
假设我有一个数据帧(df)，它由4000个观察值组成，结构如下 Country | Date | Log_GDP | Log_DMSP | Log_Population. 每个国家/地区在数据框中出现多次，因为这是面板数据。如何从该数据帧中随机抽取200个国家/地区，以便将它们输入到如下所示的lm()函数中？ lm(Log_GDP ~ 1 + Log_Population + Log_DMSP+as.factor(Date),data=sampled_df)
浏览 30提问于2020-04-30得票数 0
回答已采纳
2回答
我来自一个R背景，并且习惯于通过使用如下语法从数据帧中检索值：
r_dataframe$some_column_name[row_number]
我可以用下面的语法给数据帧赋值：
r_dataframe$some_column_name[row_number] <= some_value
或者不使用箭头：
r_dataframe$some_column_name[row_number] = some_value
例如：
#create R dataframe data
employee <- c('John Doe','Peter Gynn',
浏览 3提问于2020-08-24得票数 3
2回答
Python新手。
在R中，可以使用dim(...)获得矩阵的维数。Python Pandas中对应的数据帧函数是什么？
浏览 6提问于2012-12-18得票数 94
回答已采纳
我希望在重置发生时向前填充我的水表读数数据，以便数据干净可供分析。重置是指下一行中的值小于前一行的值。
我的python pandas数据帧如下所示：
water
0 31031
1 31037
2 31038
3 31043
4 131 (system was reset)
5 223
6 331
7 412
...
有可能在我的熊猫数据框中有几次水数据的重置。
研究表明，对于pandas数据帧，使用for循环/迭代不是最好的选择，所以我尽量避免。
我想要更新dataframe df，以便系统在索引4处重
浏览 1提问于2019-09-24得票数 1
当我想要计算一个大约有1200万行的pyspark数据帧时，我得到了以下错误消息。此外，当我想要将数据帧转换为pandas时，我收到了一个错误消息。因此，每个检查函数都是这种错误的一种，如图所示。我能做什么?
浏览 0提问于2021-11-29得票数 0
1回答
我正在尝试找出一种好方法，在Pandas中创建从excel文件中获得的以下数据帧的抽象：
Date | ID | Company | ProjectID | ProjectName | ProcessLevel1 | Process1Name | ProcessLevel2 | Process2Name | ProcessLevel3 | Process3Name | ProcessLevel4 | Process4Name | ...
2020 | 1234 | ABCCorp. | XYZ123 | SomeProjectName | P1
浏览 13提问于2021-03-06得票数 0
1回答
我有一个包含许多空值的稀疏Pandas数据帧，我希望对其进行过滤，以便在最终数据集中只保留具有超过10个浮点型条目的行和列。我尝试使用现有的代码片段，但似乎不起作用： df.drop([col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True) 谁能告诉我在我的数据帧中删除稀疏列的最好方法是什么？
浏览 16提问于2020-06-29得票数 3
1回答
我正在寻找最好的方法来计算存储在数据帧中的许多dask delayed指令。我不确定是否应该将pandas数据帧转换为包含delayed对象的dask数据帧，或者是否应该对pandas数据帧的所有值调用compute调用。
我非常感谢大家的建议，因为我在通过嵌套的for循环传递delayed对象的逻辑上遇到了问题。
import numpy as np
import pandas as pd
from scipy.stats import hypergeom
from dask import delayed, compute
steps = 5
sample = [int(x) for x
浏览 10提问于2019-08-10得票数 0
我使用Python Pandas对一个名为"Trace“的列进行分组。对于每个跟踪，都有一个包含两个峰值的"Value“列，我试图将它们传输到不同的数据帧中。第一个问题是，当我使用groupby时，它不会保留我想要选择的值所在行的其余数据。例如，如果一个Pandas数据帧有6列，那么我想在使用groupby之后保留所有6列。第二个问题是，我想要的两个最大值不是列中的两个最大值，而是数据集中的“峰值”。例如，附加的图像显示了我想要其值的两个峰值。我希望将两个峰值中每个峰值的最大值导出到新的数据帧中，并将先前数据帧中其他列的行值导出到新的数据帧中。
在下面的代码中，我希望按"
浏览 54提问于2018-08-05得票数 0
回答已采纳
我想看到dask数据帧的整行，而不是截断字段，在pandas中，命令是pd.set_option('display.max_colwidth', -1)，dask是否有等效的命令？我什么也找不到。
浏览 0提问于2019-01-02得票数 3
1回答
我正在处理VCF文件格式，在获得pandas数据帧中的数据后，我得到了下面的输出。
代码
<code>A0</code>
输出-
<code>A1</code>
我只想获取第三列中的IDS的值。
预期输出：
<code>A2</code>
浏览 10提问于2019-03-31得票数 2
回答已采纳
我有一个数据帧，需要将它分成两个部分，即80:20、70:30或60:40，但我的两个数据帧部分应该在分类列中包含所有标签。 import pandas as pd
from sklearn.model_selection import train_test_split Eg:
Fruits Color Price
0 Banana Yellow 60
1 Grape Black 100
2 Apple Red 200
3 Papaya Yellow 50
4 Dragon Pink 150
5 Mango Yel
浏览 12提问于2021-11-02得票数 0
我有一个模式：
patternDel = "( \\((MoM|QoQ)\\))";
我想删除pandas dataframe中列df['Event Name']与此模式匹配的所有行。哪种方法是最好的？数据帧中有超过100k行。
浏览 8提问于2016-10-10得票数 26
回答已采纳
1回答
我目前正在使用ffn库来分析股票数据。然而，在使用其中一个函数获取信息时，我得到了一个我不能操作的对象。
在尝试将该对象转换回pandas数据帧时，我得到了错误：Invalid file path or buffer object type: <class 'NoneType'>
有没有办法把这种数据类型读回pandas？
浏览 1提问于2020-09-16得票数 0
我已经阅读了将csv文件加载到pandas数据帧中，并希望对该数据帧进行一些简单的操作。我不知道如何根据从原始数据框中选择的列来创建新的数据框。我的尝试是：
names = ['A','B','C','D']
dataset = pandas.read_csv('file.csv', names=names)
new_dataset = dataset['A','D']
我想用原始数据帧中的列A和D创建一个新的数据帧。
浏览 1提问于2017-07-11得票数 24
回答已采纳
首先，我创建了一个这样的数据帧：
df = pd.read_csv('d:\etc\quotes.csv', sep=';', parse_dates = [[0,1]], header = None, names = ['date', 'time', 'open', 'high', 'low', 'close', 'vol'], index_col = "date_time")
在那之后，我尝试使用.loc来访问值：
df.loc[:
浏览 174提问于2018-05-31得票数 0
2回答
我已经构建了一个pandas数据帧，它在每个单元格中存储一个简单的字典。例如：
{'Sales':0,'Revenue':0}
我可以通过以下方式从dataframe中检索特定值：
df[columnA][index100]['Revenue']
但现在我想用columnA绘制一张图，其中包含所有字典中的收入值--实现这一目标的最佳方法是什么？
如果我放弃字典，转而使用两个大小相同的数据帧，从长远来看，生活会变得更容易吗？(我对熊猫非常陌生，所以不确定最佳实践)。
浏览 6提问于2013-05-13得票数 13
回答已采纳
我想要获取Pandas数据框中每个单元格的索引和列名。
例如，在由以下代码生成的数据帧中
df = pd.DataFrame({1 : np.arange(1, 6),
2 : np.arange(6, 11),
3 : np.arange(11, 16),
4 : np.arange(16, 21),
5 : np.arange(21, 26)},
index=[1, 2, 3, 4, 5])
我想访问一个由value的行索引和value的列
浏览 0提问于2016-01-31得票数 1
2回答
我有一个PostgreSQL数据库。Pandas有一个“to_sql”函数，可以将数据帧的记录写入数据库。但我还没有找到任何文档，说明在我使用完dataframe时如何使用pandas更新现有的数据库行。
目前，我可以使用pandas read_sql_table将数据库表读取到数据帧中。然后，我会根据需要处理数据。但是，我还不能弄清楚如何将该数据帧写回数据库以更新原始行。
我不想覆盖整个表。我只需要更新最初选择的行。
浏览 73提问于2015-04-13得票数 25
2回答
我正在尝试计算数据帧中每一列的最大和最小长度，该数据帧中有一些缺失值。Pandas将这些缺失值视为"NaN“，并将长度计为3。如何在计算最大和最小长度时完全忽略缺失值？下面是我的代码： import pandas as pd
columnname=[]
maxColumnLenghts = []
minColumnLenghts=[]
for colname in df.columns:
columnname.append(colname)
for col in range(len(df.columns))
浏览 51提问于2020-11-06得票数 1
回答已采纳
如何使用pandas replace (或任何其他函数)删除数据帧中的所有单个字符，以便： abc 87-2 EF.2
ABC a -
EF8 8
. B 变成： abc 87-2 EF.2
ABC
EF8
浏览 42提问于2019-10-11得票数 1
回答已采纳
如何在查询中完成此操作？我在pandas数据帧中处理结果，现在正在使用df.fillna(0)。但是，我想直接在sql请求中执行此操作。
浏览 41提问于2019-06-06得票数 0
回答已采纳
它可以在没有聚合或计数的情况下遍历Pyspark groupBy数据帧吗？ 例如Pandas中的代码： for i, d in df2:
mycode ....
^^ if using pandas ^^
Is there a difference in how to iterate groupby in Pyspark or have to use aggregation and count?
浏览 54提问于2020-01-07得票数 3
回答已采纳
3回答
我有一个包含2列的数据帧，如下所示：
Index Year Country
0 2015 US
1 2015 US
2 2015 UK
3 2015 Indonesia
4 2015 US
5 2016 India
6 2016 India
7 2016 UK
我想创建一个新的数据帧，其中包含每年国家的最大计数。新的数据帧将包含3列，如下所示：
Index Year Countr
浏览 0提问于2017-08-12得票数 2
2回答
我有Dask系列的Dask数据帧。
我想在本系列中建立索引，以获取dask数据帧以供后续工作使用。
但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。
下面是一个使用Dask系列Pandas数据帧的最小示例(不完全相同，但说明了问题)：
import pandas as pd
import dask.dataframe as dd
pdf1 = pd.DataFrame({'a': [1,2,3,4], 'b': [4,3,2,1]})
pdf2 = pd.Data
浏览 3提问于2020-02-03得票数 1
我有一个大文件，导入到Pandas中的单个数据帧中。我使用pandas根据数据帧中的行数将文件拆分成多个段。
例如: 10行:文件1获取0:4文件2获取5:9
有没有一种方法可以做到这一点，而不必创建更多的数据帧？
浏览 0提问于2017-11-22得票数 2
1回答
我的数据集是巨大的。我正在使用Azure ML notebooks，并使用azureml.core读取日期集并转换为azureml.data.tabular_dataset.TabularDataset。无论如何，我会过滤tabularDataset中的数据，而不是转换为pandas数据帧。我使用下面的代码来读取数据。由于数据量巨大，pandas数据帧正在耗尽内存。我不需要将完整的数据加载到程序中。仅需要子集。有没有办法在转换为pandas数据框之前过滤记录 def read_Dataset(dataset):
ws = Workspace.from_config()
ds
浏览 69提问于2021-01-06得票数 1
1回答
我有一个数据帧，如下所示： Name Variable Field
A 2.3 412
A 2.9 861
A 3.5 1703
B 3.5 1731
A 4.0 2609
B 4.0 2539
A 4.6 2821
B 4.6 2779
A 5.2 3048
B 5.2 2979
A 5.8 3368
B 5.8 3216 如您所见，我在"variable“列中有重复的值。我想为A和B之间的每个变量计算增量(%)。我想要生成的数据帧是： Name Variable Field Ref field (A) Delt
浏览 28提问于2019-02-15得票数 4
回答已采纳
2回答
如何引用两个数据帧的最小值作为pandas数据帧方程的一部分？我尝试使用python min()函数，但不起作用。很抱歉，如果这在某个地方有很好的文档记录，但我还没有找到这个问题的有效解决方案。我正在寻找类似这样的东西：
data['eff'] = pd.DataFrame([data['flow_h'], data['flow_c']]).min() *Cp* (data[' Thi'] - data[' Tci'])
我也试过使用pandas的min()函数，它也不起作用。
min_flow = pd.Data
浏览 0提问于2015-11-29得票数 65
回答已采纳
1回答
我有一个名为数据的列表，它由多个数据组成。数据、data1等将显示数据帧1、数据帧2等。所有的数据帧在no.of行和no.of属性方面都是不同的。我想知道是否有一种方法可以编写data1来提取数据格式2和列3的名称。也就是说，datai在(i+1)th数据帧中表示(j+1)th数据帧和(j+1)th属性。
list(data1.columns.values)我理解上面的代码为我提供了所有的属性。我很想知道使用上面提到的方法- datai的索引。
import os
import pandas as pd
path = os.getcwd()
files = os.listdir(path)
f
浏览 0提问于2019-06-04得票数 0
回答已采纳
1回答
Pandas数据帧：
Player_name Age Calender_Year Runs
Sid 21 2016 800
Harsh 22 2016 900
Sid 22 2017 850
Ravi 20 2017 910
Sumit 20 2016 760
Sumit 21 2017 690
Raj 19
浏览 15提问于2018-02-11得票数 1
回答已采纳
2回答
我从网上获取数据，并将这些数据存储在pandas数据帧中。但问题是数据帧的格式并不是每次都相同，主要是行数。 Print(df.shape)
Output: (100, 9) -- Print(df.shape)
Output: (33, 9) -- Print(df.shape)
Output: (153, 9) -- Print(df.shape)
Output: (148, 9) 您能告诉我如何使用iloc[]只选择倒数第二行或倒数第二行的任意特定单元格吗
浏览 140提问于2021-03-26得票数 0
我有一个脚本，可以将系统日志文件读取到pandas数据帧中，并从这些数据帧生成图表。图表适用于较小的数据集。但当我面对更大的数据集时，由于更长的数据收集时间框架，图表变得太拥挤而无法辨别。
我计划对数据帧进行重采样，以便如果数据集超过一定大小，我将对其进行重采样，以便最终只有SIZE_LIMIT行数。这意味着我需要过滤数据帧，这样每个n= actual_size/SIZE_LIMIT行都会聚集到新数据帧中的一行。agregation可以是平均值，也可以是第n行。
我对熊猫不是很熟悉，所以可能错过了一些明显的方法。
浏览 2提问于2013-01-30得票数 4
回答已采纳
3回答
给定一个Pandas数据帧，其中一列如下所示：
Date
2016-04-15
2016-04-14
2016-04-13
2016-04-12
2016-04-11
2016-04-08
假设值是唯一的，我如何获得特定值的行索引？
例如，"2016-04-13“将返回2
浏览 0提问于2016-05-29得票数 5
回答已采纳
2回答
我一直在尝试将特定键的值存储到pandas数据帧中，该数据帧来自具有字典列表的另一个数据帧。有人能教我怎么做吗？？ source data frame result data frame
浏览 11提问于2021-02-08得票数 0
我有一个带有点几何体的GeoPandas数据帧。dataframe是使用以下代码从Pandas dataframe创建的，该dataframe包含用于easting和northings的单独列： import numpy as np
import pandas as pd
import geopandas as gpd
from shapely.geometry import Point
df = pd.DataFrame({'id':[1,2,3,4,5],
'easting':[545200.0,np.nan,360
浏览 26提问于2020-06-19得票数 1
回答已采纳
我正在尝试从pandas数据帧中的单个列中的字符串中找到一个最大的数字，然后根据最大结果创建另一个列。 我的数据帧： number_quotes
0 I have 1-50 ice-creams
1 4 people out of 10 said hello
2 8889 or 9500 but could be 10903 期望的结果： number_quotes max_number
0 I have 1-50 ice-creams 50
1 4 people out of 10 said hello
浏览 39提问于2021-08-18得票数 1
回答已采纳
我尝试通过pandas数据帧运行for循环，并将逻辑表达式应用于该数据帧的每个元素中的一列。我的代码编译时没有错误，但没有输出。
示例代码：
for i in df:
if df['value'].all() >= 0.0 and df['value'].all() < 0.05:
print df['value']
任何帮助都将不胜感激！谢谢
浏览 4提问于2016-08-11得票数 1
我在Pandas中处理了大约30个外观相同的csv文件(一分钟的时间序列数据，每个一年，大约100MB)。大多数情况下，我对30个数据帧中的每个数据帧执行相同的操作。有没有一种方便的方法可以一次对每个数据帧应用一个操作，而不是单独保存文件？像这样的东西？
for df in df1,df2,df3:
df=df.dropna(subset=['A','B'])
df['C'] = df['A']/df['B']
df_a = df[(df.C >= 50)]
浏览 0提问于2020-06-09得票数 0
我有多个pandas数据帧，我想写一个函数，它将取出数据帧每列中的值，并将它们放入自己的numpy数组中。
示例数据帧
In [1]: df = pd.DataFrame([[1, 2], [1, 3], [4, 6]], columns=['A', 'B'])
In [2]: df
Out[2]:
A B
0 1 2
1 1 3
2 4 6
如何从A列和B列的值中生成两个不同的numpy数组
浏览 1提问于2019-04-10得票数 0
我正在做一个数据框架，我注意到有3个变量对预测标签非常重要。因此，我希望将我的数据帧拆分到测试和训练集中，但不是随机拆分，而是基于这3个变量进行分层拆分(以保持训练集中与原始数据帧中相同的分布)。函数<code>D0</code>是用来处理标签的，所以如果我没记错的话，我只能指定一个变量，而不是三个变量。有人能帮我吗？谢谢
浏览 14提问于2019-03-29得票数 0
1回答
假设我计算了熊猫数据帧中的行数。我使用以下代码来完成此操作：
df.shape
它给出了以下结果：(1700，12)
如何将1700值添加到现有的pandas数据帧中？我们将把与该值相关联的列称为D。
当前数据帧：
A B C
30 40 text
所需数据帧：
A B C D
30 40 text 1700
浏览 2提问于2018-04-18得票数 0
我想通过第一个索引'0‘将多索引数据帧拆分/切片为第一个索引的每个级别的数据帧(例如，下面将有4个数据帧)。然后，我想将每个数据框导出到EXCEL中的单独选项卡中。我希望得到帮助的最重要的问题是如何编写循环或列表理解，将多索引数据帧拆分成单独的数据帧。 示例Dataframe： import pandas as pd
import numpy as np
arrays = [
np.array(['bar', 'bar', 'baz', 'baz', 'foo', 'foo',
浏览 17提问于2019-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
