Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >时间序列的重采样和pandas的resample方法介绍

时间序列的重采样和pandas的resample方法介绍

作者头像
deephub
发布于 2023-09-21 12:49:15
发布于 2023-09-21 12:49:15
2.2K00
代码可运行
举报
文章被收录于专栏:DeepHub IMBADeepHub IMBA
运行总次数:0
代码可运行

重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率,它可以更改数据的时间间隔,通过上采样增加粒度,或通过下采样减少粒度。在本文中,我们将深入研究Pandas中重新采样的关键问题。

为什么重采样很重要?

时间序列数据到达时通常带有可能与所需的分析间隔不匹配的时间戳。例如以不规则的间隔收集数据,但需要以一致的频率进行建模或分析。

重采样分类

重采样主要有两种类型:

1、Upsampling

上采样可以增加数据的频率或粒度。这意味着将数据转换成更小的时间间隔。

2、Downsampling

下采样包括减少数据的频率或粒度。将数据转换为更大的时间间隔。

重采样的应用

重采样的应用十分广泛:

在财务分析中,股票价格或其他财务指标可能以不规则的间隔记录。重新可以将这些数据与交易策略的时间框架(如每日或每周)保持一致。

物联网(IoT)设备通常以不同的频率生成数据。重新采样可以标准化分析数据,确保一致的时间间隔。

在创建时间序列可视化时,通常需要以不同的频率显示数据。重新采样够调整绘图中的细节水平。

许多机器学习模型都需要具有一致时间间隔的数据。在为模型训练准备时间序列数据时,重采样是必不可少的。

重采样过程

重采样过程通常包括以下步骤:

首先选择要重新采样的时间序列数据。该数据可以采用各种格式,包括数值、文本或分类数据。

确定您希望重新采样数据的频率。这可以是增加粒度(上采样)或减少粒度(下采样)。

选择重新采样方法。常用的方法包括平均、求和或使用插值技术来填补数据中的空白。

在上采样时,可能会遇到原始时间戳之间缺少数据点的情况。插值方法,如线性或三次样条插值,可以用来估计这些值。

对于下采样,通常会在每个目标区间内聚合数据点。常见的聚合函数包括sum、mean或median。

评估重采样的数据,以确保它符合分析目标。检查数据的一致性、完整性和准确性。

Pandas中的resample()方法

resample可以同时操作Pandas Series和DataFrame对象。它用于执行聚合、转换或时间序列数据的下采样和上采样等操作。

下面是resample()方法的基本用法和一些常见的参数:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 import pandas as pd
 
 # 创建一个示例时间序列数据框
 data = {'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
         'value': range(365)}
 df = pd.DataFrame(data)
 
 # 将日期列设置为索引
 df.set_index('date', inplace=True)
 
 # 使用resample()方法进行重新采样
 # 将每日数据转换为每月数据并计算每月的总和
 monthly_data = df['value'].resample('M').sum()
 
 # 将每月数据转换为每季度数据并计算每季度的平均值
 quarterly_data = monthly_data.resample('Q').mean()
 
 # 将每季度数据转换为每年数据并计算每年的最大值
 annual_data = quarterly_data.resample('Y').max()
 
 print(monthly_data)
 print(quarterly_data)
 print(annual_data)

在上述示例中,我们首先创建了一个示例的时间序列数据框,并使用resample()方法将其转换为不同的时间频率(每月、每季度、每年)并应用不同的聚合函数(总和、平均值、最大值)。

resample()方法的参数:

  • 第一个参数是时间频率字符串,用于指定重新采样的目标频率。常见的选项包括 'D'(每日)、'M'(每月)、'Q'(每季度)、'Y'(每年)等。
  • 你可以通过第二个参数how来指定聚合函数,例如 'sum''mean''max' 等,默认是 'mean'
  • 你还可以使用closed参数来指定每个区间的闭合端点,可选的值包括 'right''left''both''neither',默认是 'right'
  • 使用label参数来指定重新采样后的标签使用哪个时间戳,可选的值包括 'right''left''both''neither',默认是 'right'
  • 可以使用loffset参数来调整重新采样后的时间标签的偏移量。
  • 最后,你可以使用聚合函数的特定参数,例如'sum'函数的min_count参数来指定非NA值的最小数量。

1、指定列名

默认情况下,Pandas的resample()方法使用Dataframe或Series的索引,这些索引应该是时间类型。但是,如果希望基于特定列重新采样,则可以使用on参数。这允许您选择一个特定的列进行重新采样,即使它不是索引。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.reset_index(drop=False, inplace=True)
 df.resample('W', on='index')['C_0'].sum().head()

在这段代码中,使用resample()方法对'index'列执行每周重采样,计算每周'C_0'列的和。

2、指定开始和结束的时间间隔

closed参数允许重采样期间控制打开和关闭间隔。默认情况下,一些频率,如'M', 'A', 'Q', 'BM', 'BA', 'BQ'和'W'是右闭的,这意味着包括右边界,而其他频率是左闭的,其中包括左边界。在转换数据频率时,可以根据需要手动设置关闭间隔。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df = generate_sample_data_datetime()
 pd.concat([df.resample('W', closed='left')['C_0'].sum().to_frame(name='left_closed'),
            df.resample('W', closed='right')['C_0'].sum().to_frame(name='right_closed')],
           axis=1).head(5)

在这段代码中,我们演示了将日频率转换为周频率时左闭间隔和右闭间隔的区别。

3、输出结果控制

label参数可以在重采样期间控制输出结果的标签。默认情况下,一些频率使用组内的右边界作为输出标签,而其他频率使用左边界。在转换数据频率时,可以指定是要使用左边界还是右边界作为输出标签。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df = generate_sample_data_datetime()
 df.resample('W', label='left')['C_0'].sum().to_frame(name='left_boundary').head(5)
 df.resample('W', label='right')['C_0'].sum().to_frame(name='right_boundary').head(5)

在这段代码中,输出标签是根据在label参数中指定“left”还是“right”而变化的,建议在实际应用时显式指定,这样可以减少混淆。

4、汇总统计数据

重采样可以执行聚合统计,类似于使用groupby。使用sum、mean、min、max等聚合方法来汇总重新采样间隔内的数据。这些聚合方法类似于groupby操作可用的聚合方法。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('D').sum()
 df.resample('W').mean()
 df.resample('M').min()
 df.resample('Q').max()
 df.resample('Y').count()
 df.resample('W').std()
 df.resample('M').var()
 df.resample('D').median()
 df.resample('M').quantile([0.25, 0.5, 0.75])
 custom_agg = lambda x: x.max() - x.min()
 df.resample('W').apply(custom_agg)

上采样和填充

在时间序列数据分析中,上采样和下采样是用来操纵数据观测频率的技术。这些技术对于调整时间序列数据的粒度以匹配分析需求非常有价值。

我们先生成一些数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 import pandas as pd
 import numpy as np
 
 
 def generate_sample_data_datetime():
     np.random.seed(123)
     number_of_rows = 365 * 2
     num_cols = 5
     start_date = '2023-09-15'  # You can change the start date if needed
     cols = ["C_0", "C_1", "C_2", "C_3", "C_4"]
     df = pd.DataFrame(np.random.randint(1, 100, size=(number_of_rows, num_cols)), columns=cols)
     df.index = pd.date_range(start=start_date, periods=number_of_rows)
     return df
 
 df = generate_sample_data_datetime()

上采样包括增加数据的粒度,这意味着将数据从较低的频率转换为较高的频率。

假设您有上面生成的每日数据,并希望将其转换为12小时的频率,并在每个间隔内计算“C_0”的总和:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('12H')['C_0'].sum().head(10)

代码将数据重采样为12小时的间隔,并在每个间隔内对' C_0 '应用总和聚合。这个.head(10)用于显示结果的前10行。

在上采样过程中,特别是从较低频率转换到较高频率时,由于新频率引入了间隙,会遇到丢失数据点的情况。所以需要对间隙的数据进行填充,填充一般使用以下几个方法:

向前填充-前一个可用的值填充缺失的值。可以使用limit参数限制正向填充的数量。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].ffill(limit=1)

反向填充 -用下一个可用的值填充缺失的值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].bfill(limit=1)

最近填充 -用最近的可用值填充缺失的数据,该值可以是向前的,也可以是向后的。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].nearest(limit=1)

Fillna —结合了前面三个方法的功能。可以指定方法(例如,'pad'/' fill', 'bfill', 'nearest'),并使用limit参数进行数量控制。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].fillna(method='pad', limit=1)

Asfreq-指定一个固定的值来填充所有缺失的部分一次。例如,可以使用-999填充缺失的值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H')['C_0'].asfreq(-999)

插值方法-可以应用各种插值算法。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df.resample('8H').interpolate(method='linear').applymap(lambda x: round(x, 2))

一些常用的函数

1、使用agg进行聚合

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 result = df.resample('W').agg(
     {
         'C_0': ['sum', 'mean'],
         'C_1': lambda x: np.std(x, ddof=1)
     }
 ).head()

使用agg方法将每日时间序列数据重新采样到每周频率。并为不同的列指定不同的聚合函数。对于“C_0”,计算总和和平均值,而对于“C_1”,计算标准差。

2、使用 apply 聚合

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 def custom_agg(x):
     agg_result = {
         'C_0_mean': round(x['C_0'].mean(), 2),
         'C_1_sum': x['C_1'].sum(),
         'C_2_max': x['C_2'].max(),
         'C_3_mean_plus1': round(x['C_3'].mean() + 1, 2)
     }
     return pd.Series(agg_result)
 
 result = df.resample('W').apply(custom_agg).head()

定义了一个名为custom_agg的自定义聚合函数,它将DataFrame x作为输入,并在不同列上计算各种聚合。使用apply方法将数据重新采样到每周的频率,并应用自定义聚合函数。

3、使用transform进行变换

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 df['C_0_cumsum'] = df.resample('W')['C_0'].transform('cumsum')
 df['C_0_rank'] = df.resample('W')['C_0'].transform('rank')
 result = df.head(10)

使用transform 方法来计算每周组中'C_0'变量的累积和排名。DF的原始索引结构保持不变。

4、使用pipe 进行管道操作

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 result = df.resample('W')['C_0', 'C_1'] \
     .pipe(lambda x: x.cumsum()) \
     .pipe(lambda x: x['C_1'] - x['C_0'])
 result = result.head(10)

使用管道方法对下采样的'C_0'和'C_1'变量进行链式操作。cumsum函数计算累积和,第二个管道操作计算每个组的'C_1'和'C_0'之间的差值。像管道一样执行顺序操作。

总结

时间序列的重采样是将时间序列数据从一个时间频率(例如每日)转换为另一个时间频率(例如每月或每年),并且通常伴随着对数据进行聚合操作。重采样是时间序列数据处理中的一个关键操作,通过进行重采样可以更好地理解数据的趋势和模式。

在Python中,可以使用Pandas库的resample()方法来执行时间序列的重采样。

作者:JI

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-19 09:29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DeepHub IMBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
怎么申请公司域名呢?申请公司域名需要花钱吗?
公司域名是网址的另一种说法,公司域名在国际互联网上是通用的,全世界任何一个地方都可以通过域名来访问该网站,当然了,公司域名也具有唯一性,谁先注册,那么,谁就拥有了这个公司域名的绝对使用权,其他人就无法注册相同的域名了。很多人不知道怎么申请公司域名,那么,怎么申请公司域名呢?下面我们一起来简单的了解一下吧。
用户8739990
2021/08/06
23.6K0
怎么申请公司域名呢?申请公司域名需要花钱吗?
什么是域名解析 域名注册需要多少钱
当我们在互联网上访问网站的时候,是可以看见域名的,域名对于我们建设网站是非常重要的,它就相当于一个门牌,人们通过域名可以访问到各种各样的内容。那什么是域名解析?
用户8739990
2021/08/13
9.9K0
购买了域名后如何使用 域名需要多少钱
互联网在进步,很多企业都需要一个官网来给客户展示企业的形象,虽然网络上有很多建网站的教程,看着简单,而到自己要做的时候却还是一脸懵逼。搭建网站需要具备三样东西:域名、主机与网站程序,缺一不可。那么购买了域名后如何使用?
用户8715145
2021/08/19
14.1K0
如何搭建一个网站
如何搭建一个网站,我估计很多程序员都有这个冲动想去搭建一个属于自己的网络小天地,但是苦于不知道从何下手,或者因为不知道水有多深,而望而却步,其实搭建网站没有你想的那么复杂,且听我细细分解,
知识与交流
2021/04/02
5K0
godaddy域名服务器_自己有域名怎么建网站
自己准备做一个个人网站,由于第一次做所以遇到了各种困难,现在把自己的一些经历经验贴出来供大家参考。此贴针对一个完全没有经验的菜鸟,大牛勿喷。
全栈程序员站长
2022/11/10
12.3K0
godaddy域名服务器_自己有域名怎么建网站
域名在哪里备案?域名备案需要哪些材料?
互联网已经不再是野蛮生长的时代,如今的互联网也受到了法律的监管,很多网站在建设时都需要履行备案手续,才能够合法的在互联网上开展业务。那么域名在哪里备案?域名备案需要哪些材料呢?
用户8715145
2021/11/02
49.9K0
如何申请域名网址,需要花钱吗?
伴随着社会地告诉发展,互联网在人们的生活当中已经是非常重要的一种存在了,人们在很多方面都会需要用到互联网,尤其是那些自己开公司的人,他们想要在网络上向大家展示自己的公司以及公司的产品,就需要有一个属于公司自己的网站,就好像是现实当中一个公司需要专门的展厅一样,这样的网站可以让人们非常方便的了解你的公司。当然想要让别人进入你的网站,就需要有你公司的网址才可以,这就好像是现实当中你公司的地址是一样的,那么如何申请域名网址。
用户8715145
2021/08/27
6.5K0
免费域名与收费域名的差别有哪些?
企业建设网站是企业宣传和推广自己的一个重要方式,而域名是建站的必要因素。目前域名已经成为互联网的品牌、网上商标保护必备的产品之一,接下来就来说说域名注册的相关事宜。
躲在树上的域小名
2018/01/23
14.3K0
玩转服务器---域名注册及域名备案
上一篇讲到了如何选购入门级云服务器,阿里云,腾讯云之类的云服务器一般平时折扣力度都比较大,但是这种折扣的云服务器到期后续费一般都很贵,所以如果想长期架构自己的网站的话,我个人建议可以选择三年起步,一般三年起步都可以打五折。本篇文章主要讲下域名的注册以及域名的备案。
创译科技
2019/06/02
20K0
网站建设:域名和网站空间缺一不可!
当下,网站建设已经成为潮流,除了传统的企业网站外,个人建站需求高涨,国内掀起了一股个人网站建设的新风向。不过,要说网站建设,域名和网站空间缺一不可,今天小编就来详细说说怎么购买域名和网站空间。
梅子玩域名
2021/09/24
9.3K0
域名要怎么买呢?一个域名一次可以购买多少年?
如果我们注册公司的话,我们必须是要注册一个域名的,因为这样才可以帮助我们正常运营,也才能够让更多的人了解我们的网站。当然了,我们也都知道,大多数的域名都不是免费的,都是需要我们花钱购买的。不过,也有很多新手不知道域名要怎么买,那么,域名要怎么买呢?下面我们一起来简单的了解一下吧。
用户8739990
2021/08/06
5.4K0
域名要怎么买呢?一个域名一次可以购买多少年?
二级域名怎么解析,域名注册难不难
作为火热的域名,它的学问可大着呢,当我们拥有了一个属于自己的域名之后,域名的知识我们也是需要掌握的,不仅应该学会如何使用域名,还应该知道二级域名怎么解析,这些都是域名的基础知识。
用户8739990
2021/07/23
6.7K0
二级域名怎么解析,域名注册难不难
二级域名怎么设置 域名分为几级
互联网给人们的生活、工作、创业都带来了方便,现在很多企业或者个人,都建立了自己的网站,然而在建网站之前,注册域名是开始的第一步,只在注册好了域名,才可以进行网站其他步骤的操作,这些大部比较了解,但对于二级域名怎么设置也许会比较陌生,下面就来看看,域名为分几级,二级域名怎么设置吧。
用户8739990
2021/07/23
19.6K1
二级域名怎么设置 域名分为几级
怎么查网站域名?网站域名在哪里可以注册?
大家在平时上网的时候都是需要浏览各种网站的,在浏览网站的过程中能够看到很多内容,除了文字和图片之外,很多网站还会加入各种视频,由此也能够看出一个网站的建设是并不容易的,除了要设计好网站的内容之外,网站的前期准备工作也是很复杂的,网站建设之前需要注册域名、购买空间和服务器等等。由于大家平时对于网站都是不太了解的,更别说了解网站域名了,很多人想知道怎么查网站域名,下面小编就为大家带来相关的知识。
用户8739990
2021/08/06
44K0
怎么查网站域名?网站域名在哪里可以注册?
个人博客如何快速搭建?
阅读文本大概需要 5 分钟。 塔建一个个人网站对于一个技术成熟的人员来说,可以说是轻而易举,而对于刚入门的小白来说,该怎么塔建个人网站呢? 域名注册 对于这一项,无论是专业技术人员还是非专业技术人员都是必须的。这一步也是比较简单,可以在腾讯云进行注册。这里需要注意的是最好要选择和自己网站名称或者主题相关的域名进行注册。不要随便选择一个域名就用于自己的网站。当然你选择的域名要是没有被注册过的才可以。当然了,你可以对你想好的域名进行查询,如果没有被注册就可以注册使用。 服务器的
程序工场
2018/07/03
2K0
免费二级域名怎么弄呢?二级域名怎么关闭?
二级域名是主域名单独分出来的一个域名,虽然它的权重要比主域名低很多,但是它也是单独的一个分支。注册二级域名有很多好处,在日常生活中,我们很多的工作都是需要用到二级域名的。当然了,二级域名申请很多都是要钱的,但是也有免费申请二级域名的方法,很多人不知道免费二级域名怎么弄,那么,免费二级域名怎么弄呢?下面我们一起来简单的了解一下吧。
用户8739990
2021/08/06
32.9K1
免费二级域名怎么弄呢?二级域名怎么关闭?
域名解析怎么设置?域名解析如何操作?
大家在平时使用互联网的时候接触最多的肯定就是各种网站了,现在社会中各行各业都会建设一个自己的网站,无论是公司企业还是各种购物平台,大家都可以通过网站了解到相关的内容,这也大大方便了人们对于社会的了解。网站的建设过程中是拥有很多复杂的步骤的,除了内容的补充之外网站建设之前还要有很多前提条件,其中关于域名方面的问题是最比较多的,比如域名解析怎么设置?域名解析如何操作?下面小编就为大家来详细介绍一下。
用户8739990
2021/07/30
106.2K1
域名解析怎么设置?域名解析如何操作?
网站二级域名怎么设置?设置域名时有什么注意事项?
了解互联网的人都知道网站是有二级域名的,而且二级域名不是注册好域名就直接拥有的,它需要一系列的设置步骤。不少朋友没有接触过设置二级域名等相关事宜,所以不是很清楚。要是有小伙伴们想要知道网站二级域名怎么设置就一起看看下面的内容吧。
用户8739990
2021/08/06
10.2K0
网站二级域名怎么设置?设置域名时有什么注意事项?
使用腾讯企业邮箱免费版
版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/u011054333/article/details/83126540
乐百川
2019/07/02
18.3K0
使用腾讯企业邮箱免费版
给GitHub page套上Cloudflare
大家都知道 GitHub page 上的博客是基于 GitHub 服务器搭建的,虽然 GitHub 非常慷慨,给了我们很大的容量和流量,但是毕竟服务器在美国,所以国内的访问速度还是比较慢的,其实挺想把博客移植到我的阿里云学生机上,以后再说吧,目前最方便的方式就是给博客套一层 Cloudflare 来加快访问速度
棒棒鸡不棒
2022/09/02
4.6K0
给GitHub page套上Cloudflare
相关推荐
怎么申请公司域名呢?申请公司域名需要花钱吗?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验