首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >时间序列的重采样和pandas的resample方法介绍

时间序列的重采样和pandas的resample方法介绍

作者头像
deephub
发布于 2023-09-21 12:49:15
发布于 2023-09-21 12:49:15
2.2K00
代码可运行
举报
文章被收录于专栏:DeepHub IMBADeepHub IMBA
运行总次数:0
代码可运行

重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率,它可以更改数据的时间间隔,通过上采样增加粒度,或通过下采样减少粒度。在本文中,我们将深入研究Pandas中重新采样的关键问题。

为什么重采样很重要?

时间序列数据到达时通常带有可能与所需的分析间隔不匹配的时间戳。例如以不规则的间隔收集数据,但需要以一致的频率进行建模或分析。

重采样分类

重采样主要有两种类型:

1、Upsampling

上采样可以增加数据的频率或粒度。这意味着将数据转换成更小的时间间隔。

2、Downsampling

下采样包括减少数据的频率或粒度。将数据转换为更大的时间间隔。

重采样的应用

重采样的应用十分广泛:

在财务分析中,股票价格或其他财务指标可能以不规则的间隔记录。重新可以将这些数据与交易策略的时间框架(如每日或每周)保持一致。

物联网(IoT)设备通常以不同的频率生成数据。重新采样可以标准化分析数据,确保一致的时间间隔。

在创建时间序列可视化时,通常需要以不同的频率显示数据。重新采样够调整绘图中的细节水平。

许多机器学习模型都需要具有一致时间间隔的数据。在为模型训练准备时间序列数据时,重采样是必不可少的。

重采样过程

重采样过程通常包括以下步骤:

首先选择要重新采样的时间序列数据。该数据可以采用各种格式,包括数值、文本或分类数据。

确定您希望重新采样数据的频率。这可以是增加粒度(上采样)或减少粒度(下采样)。

选择重新采样方法。常用的方法包括平均、求和或使用插值技术来填补数据中的空白。

在上采样时,可能会遇到原始时间戳之间缺少数据点的情况。插值方法,如线性或三次样条插值,可以用来估计这些值。

对于下采样,通常会在每个目标区间内聚合数据点。常见的聚合函数包括sum、mean或median。

评估重采样的数据,以确保它符合分析目标。检查数据的一致性、完整性和准确性。

Pandas中的resample()方法

resample可以同时操作Pandas Series和DataFrame对象。它用于执行聚合、转换或时间序列数据的下采样和上采样等操作。

下面是resample()方法的基本用法和一些常见的参数:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 import pandas as pd
 
 # 创建一个示例时间序列数据框
 data = {'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
         'value': range(365)}
 df = pd.DataFrame(data)
 
 # 将日期列设置为索引
 df.set_index('date', inplace=True)
 
 # 使用resample()方法进行重新采样
 # 将每日数据转换为每月数据并计算每月的总和
 monthly_data = df['value'].resample('M').sum()
 
 # 将每月数据转换为每季度数据并计算每季度的平均值
 quarterly_data = monthly_data.resample('Q').mean()
 
 # 将每季度数据转换为每年数据并计算每年的最大值
 annual_data = quarterly_data.resample('Y').max()
 
 print(monthly_data)
 print(quarterly_data)
 print(annual_data)

在上述示例中,我们首先创建了一个示例的时间序列数据框,并使用resample()方法将其转换为不同的时间频率(每月、每季度、每年)并应用不同的聚合函数(总和、平均值、最大值)。

resample()方法的参数:

  • 第一个参数是时间频率字符串,用于指定重新采样的目标频率。常见的选项包括 'D'(每日)、'M'(每月)、'Q'(每季度)、'Y'(每年)等。
  • 你可以通过第二个参数how来指定聚合函数,例如 'sum''mean''max' 等,默认是 'mean'
  • 你还可以使用closed参数来指定每个区间的闭合端点,可选的值包括 'right''left''both''neither',默认是 'right'
  • 使用label参数来指定重新采样后的标签使用哪个时间戳,可选的值包括 'right''left''both''neither',默认是 'right'
  • 可以使用loffset参数来调整重新采样后的时间标签的偏移量。
  • 最后,你可以使用聚合函数的特定参数,例如'sum'函数的min_count参数来指定非NA值的最小数量。

1、指定列名

默认情况下,Pandas的resample()方法使用Dataframe或Series的索引,这些索引应该是时间类型。但是,如果希望基于特定列重新采样,则可以使用on参数。这允许您选择一个特定的列进行重新采样,即使它不是索引。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.reset_index(drop=False, inplace=True)
 df.resample('W', on='index')['C_0'].sum().head()

在这段代码中,使用resample()方法对'index'列执行每周重采样,计算每周'C_0'列的和。

2、指定开始和结束的时间间隔

closed参数允许重采样期间控制打开和关闭间隔。默认情况下,一些频率,如'M', 'A', 'Q', 'BM', 'BA', 'BQ'和'W'是右闭的,这意味着包括右边界,而其他频率是左闭的,其中包括左边界。在转换数据频率时,可以根据需要手动设置关闭间隔。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df = generate_sample_data_datetime()
 pd.concat([df.resample('W', closed='left')['C_0'].sum().to_frame(name='left_closed'),
            df.resample('W', closed='right')['C_0'].sum().to_frame(name='right_closed')],
           axis=1).head(5)

在这段代码中,我们演示了将日频率转换为周频率时左闭间隔和右闭间隔的区别。

3、输出结果控制

label参数可以在重采样期间控制输出结果的标签。默认情况下,一些频率使用组内的右边界作为输出标签,而其他频率使用左边界。在转换数据频率时,可以指定是要使用左边界还是右边界作为输出标签。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df = generate_sample_data_datetime()
 df.resample('W', label='left')['C_0'].sum().to_frame(name='left_boundary').head(5)
 df.resample('W', label='right')['C_0'].sum().to_frame(name='right_boundary').head(5)

在这段代码中,输出标签是根据在label参数中指定“left”还是“right”而变化的,建议在实际应用时显式指定,这样可以减少混淆。

4、汇总统计数据

重采样可以执行聚合统计,类似于使用groupby。使用sum、mean、min、max等聚合方法来汇总重新采样间隔内的数据。这些聚合方法类似于groupby操作可用的聚合方法。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('D').sum()
 df.resample('W').mean()
 df.resample('M').min()
 df.resample('Q').max()
 df.resample('Y').count()
 df.resample('W').std()
 df.resample('M').var()
 df.resample('D').median()
 df.resample('M').quantile([0.25, 0.5, 0.75])
 custom_agg = lambda x: x.max() - x.min()
 df.resample('W').apply(custom_agg)

上采样和填充

在时间序列数据分析中,上采样和下采样是用来操纵数据观测频率的技术。这些技术对于调整时间序列数据的粒度以匹配分析需求非常有价值。

我们先生成一些数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 import pandas as pd
 import numpy as np
 
 
 def generate_sample_data_datetime():
     np.random.seed(123)
     number_of_rows = 365 * 2
     num_cols = 5
     start_date = '2023-09-15'  # You can change the start date if needed
     cols = ["C_0", "C_1", "C_2", "C_3", "C_4"]
     df = pd.DataFrame(np.random.randint(1, 100, size=(number_of_rows, num_cols)), columns=cols)
     df.index = pd.date_range(start=start_date, periods=number_of_rows)
     return df
 
 df = generate_sample_data_datetime()

上采样包括增加数据的粒度,这意味着将数据从较低的频率转换为较高的频率。

假设您有上面生成的每日数据,并希望将其转换为12小时的频率,并在每个间隔内计算“C_0”的总和:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('12H')['C_0'].sum().head(10)

代码将数据重采样为12小时的间隔,并在每个间隔内对' C_0 '应用总和聚合。这个.head(10)用于显示结果的前10行。

在上采样过程中,特别是从较低频率转换到较高频率时,由于新频率引入了间隙,会遇到丢失数据点的情况。所以需要对间隙的数据进行填充,填充一般使用以下几个方法:

向前填充-前一个可用的值填充缺失的值。可以使用limit参数限制正向填充的数量。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].ffill(limit=1)

反向填充 -用下一个可用的值填充缺失的值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].bfill(limit=1)

最近填充 -用最近的可用值填充缺失的数据,该值可以是向前的,也可以是向后的。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].nearest(limit=1)

Fillna —结合了前面三个方法的功能。可以指定方法(例如,'pad'/' fill', 'bfill', 'nearest'),并使用limit参数进行数量控制。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].fillna(method='pad', limit=1)

Asfreq-指定一个固定的值来填充所有缺失的部分一次。例如,可以使用-999填充缺失的值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].asfreq(-999)

插值方法-可以应用各种插值算法。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H').interpolate(method='linear').applymap(lambda x: round(x, 2))

一些常用的函数

1、使用agg进行聚合

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 result = df.resample('W').agg(
     {
         'C_0': ['sum', 'mean'],
         'C_1': lambda x: np.std(x, ddof=1)
     }
 ).head()

使用agg方法将每日时间序列数据重新采样到每周频率。并为不同的列指定不同的聚合函数。对于“C_0”,计算总和和平均值,而对于“C_1”,计算标准差。

2、使用 apply 聚合

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 def custom_agg(x):
     agg_result = {
         'C_0_mean': round(x['C_0'].mean(), 2),
         'C_1_sum': x['C_1'].sum(),
         'C_2_max': x['C_2'].max(),
         'C_3_mean_plus1': round(x['C_3'].mean() + 1, 2)
     }
     return pd.Series(agg_result)
 
 result = df.resample('W').apply(custom_agg).head()

定义了一个名为custom_agg的自定义聚合函数,它将DataFrame x作为输入,并在不同列上计算各种聚合。使用apply方法将数据重新采样到每周的频率,并应用自定义聚合函数。

3、使用transform进行变换

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df['C_0_cumsum'] = df.resample('W')['C_0'].transform('cumsum')
 df['C_0_rank'] = df.resample('W')['C_0'].transform('rank')
 result = df.head(10)

使用transform 方法来计算每周组中'C_0'变量的累积和排名。DF的原始索引结构保持不变。

4、使用pipe 进行管道操作

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 result = df.resample('W')['C_0', 'C_1'] \
     .pipe(lambda x: x.cumsum()) \
     .pipe(lambda x: x['C_1'] - x['C_0'])
 result = result.head(10)

使用管道方法对下采样的'C_0'和'C_1'变量进行链式操作。cumsum函数计算累积和,第二个管道操作计算每个组的'C_1'和'C_0'之间的差值。像管道一样执行顺序操作。

总结

时间序列的重采样是将时间序列数据从一个时间频率(例如每日)转换为另一个时间频率(例如每月或每年),并且通常伴随着对数据进行聚合操作。重采样是时间序列数据处理中的一个关键操作,通过进行重采样可以更好地理解数据的趋势和模式。

Python中,可以使用Pandas库的resample()方法来执行时间序列的重采样。

作者:JI

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-19 09:29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DeepHub IMBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
pandas 时序统计的高级用法!
本次介绍pandas时间统计分析的一个高级用法--重采样。以下是内容展示,完整数据、代码和500页图文可戳👉《pandas进阶宝典V1.1.6》进行了解。
Python数据科学
2023/09/01
7640
pandas 时序统计的高级用法!
时间序列 | 重采样及频率转换
resample有一个类似于groupby的API,调用resample可以分组数据,然后会调用一个聚合函数:
数据STUDIO
2021/06/24
1.7K0
python数据分析——数据分类汇总与统计
推荐一个网站给想要了解或者学习人工智能知识的读者,这个网站里内容讲解通俗易懂且风趣幽默,对我帮助很大。我想与大家分享这个宝藏网站,请点击下方链接查看。 https://www.captainbed.cn/f1
鲜于言悠
2025/03/08
2.1K1
python数据分析——数据分类汇总与统计
Pandas处理时序数据(初学者必会)!
时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。
Datawhale
2020/07/15
3.5K0
Pandas处理时序数据(初学者必会)!
Pandas中groupby的这些用法你都知道吗?
pandas作为Python数据分析的瑞士军刀,集成了大量实用的功能接口,基本可以实现数据分析一站式处理。前期,笔者完成了一篇pandas系统入门教程,也针对几个常用的分组统计接口进行了介绍,今天再针对groupby分组聚合操作进行拓展讲解。
luanhz
2020/07/16
4.9K0
Pandas中你一定要掌握的时间序列相关高级功能 ⛵
Pandas 是大家都非常熟悉的数据分析与处理工具库,对于结构化的业务数据,它能很方便地进行各种数据分析和数据操作。但我们的数据中,经常会存在对应时间的字段,很多业务数据也是时间序组织,很多时候我们不可避免地需要和时间序列数据打交道。其实 Pandas 中有非常好的时间序列处理方法,但是因为使用并不特别多,很多基础教程也会略过这一部分。
ShowMeAI
2022/11/28
2K0
Pandas中你一定要掌握的时间序列相关高级功能 ⛵
Pandas时间序列处理:日期与时间
在数据分析领域,时间序列数据的处理是不可或缺的一部分。Pandas作为Python中强大的数据分析库,提供了丰富的工具来处理和分析时间序列数据。本文将由浅入深地介绍Pandas在处理日期和时间时常见的问题、常见报错及如何避免或解决这些问题,并通过代码案例进行解释。
Jimaks
2025/01/01
8310
电商用户复购实战:图解 pandas 的移动函数 shift
又到周末了,东哥赠送5本机器学习的书《机器学习线性代数基础 Python语言描述》,内容非常赞,推荐入手。老样子,免费包邮送出去5本,参与方式见文末~
Python数据科学
2021/09/08
2.1K0
电商用户复购实战:图解 pandas 的移动函数 shift
Python中的时间序列数据操作总结
时间序列数据是一种在一段时间内收集的数据类型,它通常用于金融、经济学和气象学等领域,经常通过分析来了解随着时间的推移的趋势和模式
deephub
2023/02/01
4K0
pandas时间序列常用方法简介
pandas是Python数据分析最好用的第三方库,没有之一。——笛卡儿没说过这句话!
luanhz
2020/08/11
6.5K0
pandas时间序列常用方法简介
时间序列&日期学习笔记大全(下)
定制工作时间的方法 详见 Business hour和 Custom business hour、
朱小五
2020/09/24
1.3K0
时间序列&日期学习笔记大全(下)
干货分享 | Pandas处理时间序列的数据
在进行金融数据的分析以及量化研究时,总是避免不了和时间序列的数据打交道,常见的时间序列的数据有比方说一天内随着时间变化的温度序列,又或者是交易时间内不断波动的股票价格序列,今天小编就为大家来介绍一下如何用“Pandas”模块来处理时间序列的数据
用户6888863
2021/07/19
1.9K0
时间序列的操作
pandas.date_range()可以产生一定时间范围内的时间数据,具体参数如下:
慕白
2020/01/02
1.4K0
时间序列的操作
pandas完成时间序列分析基础
pandas时间序列分析的基本操作方法 ---- ---- 文章目录 导入需要的库 时间序列 生成时间序列 truncate过滤 时间戳 时间区间 指定索引 时间戳和时间周期可以转换 数据重采样 插值方法 导入需要的库 import pandas as pd import numpy as np import datetime as dt 时间序列 时间戳(timestamp) 固定周期(period) 时间间隔(interval) 生成时间序列 可以指定开始时间与周期 H:小时 D:天
北山啦
2022/11/27
7310
pandas完成时间序列分析基础
Pandas学习笔记之时间序列总结
早起导读:pandas是Python数据处理的利器,时间序列数据又是在很多场景中出现,本文来自GitHub,详细讲解了Python和Pandas中的时间及时间序列数据的处理方法与实战,建议收藏阅读。
刘早起
2020/09/15
4.6K0
时间序列 | pandas时间序列基础
时间序列(time series)数据是一种重要的结构化数据形式,应用于多个领域,包括金融学、经济学、生态学、神经科学、物理学等。在多个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的,也就是说,数据点是根据某种规律定期出现的(比如每15秒、每5分钟、每月出现一次)。时间序列也可以是不定期的,没有固定的时间单位或单位之间的偏移量。时间序列数据的意义取决于具体的应用场景,主要有以下几种:
数据STUDIO
2021/06/24
1.8K0
使用 Pandas resample填补时间序列数据中的空白
在现实世界中时间序列数据并不总是完全干净的。有些时间点可能会因缺失值产生数据的空白间隙。机器学习模型是不可能处理这些缺失数据的,所以在我们要在数据分析和清理过程中进行缺失值的填充。本文介绍了如何使用pandas的重采样函数来识别和填补这些空白。
deephub
2021/11/08
5K0
使用 Pandas resample填补时间序列数据中的空白
Pandas中级教程——时间序列数据处理
Pandas 是数据分析领域中最为流行的库之一,它提供了丰富的功能用于处理时间序列数据。在实际项目中,对时间序列数据的处理涉及到各种操作,包括日期解析、重采样、滑动窗口等。本篇博客将深入介绍 Pandas 中对时间序列数据的处理技术,通过实例演示如何灵活应用这些功能。
Echo_Wish
2023/12/22
6520
Pandas三百题
pd.set_option('display.max_columns',None)
SingYi
2022/07/13
5.4K0
Pandas三百题
Python中的时间序列数据可视化的完整指南
标题中的“完整指南”并不意味着,它有所有的可视化。在这么多不同的库中有这么多的可视化方法,所以在一篇文章中包含所有这些方法是不实际的。
deephub
2020/11/25
2.4K0
Python中的时间序列数据可视化的完整指南
相关推荐
pandas 时序统计的高级用法!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验