ICLR 2024 | 时间序列（Time Series）论文

时空探索之旅

发布于 2024-11-19 16:03:55

4200

文章被收录于专栏：时空探索之旅时空探索之旅

ICLR 2024（International Conference on Learning Representations）在5月7日-11日在奥地利维也纳举行。今年，ICLR共收到7262篇投稿，总体录用率在31%。

本文总结了2024 ICLR录用的有关时间序列论文，其中包含了时间序列预测，分类，插补以及气象预测，大模型在时间序列建模等的应用。供大家学习。

其中目前炙手可热的两个技术大模型和扩散模型：

扩散模型：9，10，11，12，13（9-13）

大模型对应序号：14，15，16（14-16），21是基础模型（foundation model）

更好成绩：Oral一篇，Spotlight 8篇

如果本文对您有用，还请您关注，点赞，收藏和转发，十分感谢您的支持！

[Oral] 1. ClimODE: Climate Forecasting With Physics-informed Neural ODEs

链接：https://openreview.net/forum?id=xuY33XhEGR

关键词：神经常微分方程、时间序列预测、气候预测、基于物理的机器学习、不确定性量化

TL;DR：引入了一种受物理学启发的新颖的气候建模方法，使用常微分方程捕获潜在的归纳偏差并允许预测中的不确定性量化。

分数：8，8，8，8

ClimODE

[Spotlight] 2. Inherently Interpretable Time Series Classification via Multiple Instance Learning

链接：https://openreview.net/forum?id=xriGRsoAza

关键词：多示例学习，时间序列分类，可解释性

分数：8, 8, 8, 8

image

[Spotlight] 3. ModernTCN: A Modern Pure Convolution Structure for General Time Series Analysis

链接：https://openreview.net/forum?id=vpJMJerXHU

关键词：时间序列分析，卷积

TL;DR：采用了时间序列社区中很少探索的方法，成功地将卷积带回到时间序列分析中。我们的纯卷积结构在五个主流时间序列分析任务中实现了一致的最先进水平

分数：8, 8, 8

ModernTCN

[Spotlight] 4. iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

链接：https://openreview.net/forum?id=JePfAI8fah

Github:https://github.com/thuml/iTransformer

arXiv:https://arxiv.org/abs/2310.06625

关键词：时间序列预测，长时预测，Transformer

TL;DR：基于对 Transformer组件功能的思考，提出了用于时间序列预测的反转( inverted ) Transformer，它在实际应用中实现了 SOTA，并在框架泛化方面展现了强大的实力。

分数：8, 8, 8, 6

iTransformer

[Spotlight] 5. FITS: Modeling Time Series with Parameters

链接：https://openreview.net/forum?id=bWcnvZ3qMb

关键词：时间序列分析、时间序列预测、复值神经网络，轻量级

TL;DR：提出了一种新颖的周期性解耦框架（PDF），通过捕获 2D 时间变化建模来进行长期序列预测。

分数：8, 8, 8, 8

FITS

[Spotlight] 6. SocioDojo: Building Lifelong Analytical Agents with Real-world Text and Time Series

链接：https://openreview.net/forum?id=s9z0HzWJJp

关键词：大语言模型、Agent、时间序列预测（和TSF似乎关系不大，更多的是社交媒体分析）

TL;DR：提出了 SocioDojo，这是一个终身学习环境，可以让agent根据新闻持续做出投资决策，以及一种新颖的agent架构，可以通过假设和证明提示生成深入分析以协助决策。

分数：5, 8, 8

SocioDojo

[Spotlight] 7. Soft Contrastive Learning for Time Series

链接：https://openreview.net/forum?id=pAsQSWlDUf

关键词：对比学习，自监督，表示学习（下游任务：分类，迁移学习，异常检测）

TL;DR：本文提出了 SoftCLT，一种时间序列的软对比学习框架。

分数：8, 6, 6, 6

SoftCLT

[Spotlight] 8. Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data

链接：https://openreview.net/forum?id=4VIgNuQ1pY

关键词：神经常微分方程、神经随机微分方程、不规则时间序列数据、时间序列分类

TL;DR:稳定神经随机微分方程

分数：8, 6, 6

[Spotlight] 9. Generative Learning for Financial Time Series with Irregular and Scale-Invariant Patterns

链接：https://openreview.net/forum?id=CdjnzWsQax

关键词：生成模型，时间序列模式识别，扩散模型，金融时序

分数：8, 8, 6

FTS-Diffusion

10. Transformer-Modulated Diffusion Models for Probabilistic Multivariate Time Series Forecasting

链接：https://openreview.net/forum?id=qae04YACHs

关键词：时间序列预测，生成模型，扩散模型，不确定性估计

分数：6, 6, 8, 3

TMDM

11. Multi-Resolution Diffusion Models for Time Series Forecasting

链接：https://openreview.net/forum?id=mmjnr0G8ZY

关键词：扩散模型，多尺度

分数：5, 6, 8, 6

mr-Diff

12. MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process

链接：https://openreview.net/forum?id=CZiY6OLktd

关键词：扩散模型，多粒度，时序预测

TL;DR：引入 MG-TSD 模型，该模型利用数据中的多个粒度级别来指导扩散模型进行概率时间序列预测。

分数：6, 6, 5

MG-TSD

13. Diffusion-TS: Interpretable Diffusion for General Time Series Generation

链接：https://openreview.net/forum?id=4h1apFjO99

关键词：扩散模型，时间序列

分数：6, 5, 8

Diffusion-TS

14. Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

链接：https://openreview.net/forum?id=Unb5CVPtae𝐆𝐢𝐭𝐇𝐮𝐛: https://github.com/kimmeen/time-llm/arXiv: https://arxiv.org/abs/2310.01728

关键词：时间序列预测，大模型，模型重编程

TL;DR：一个灵活的多变量概率时间序列预测模型，简化了attentional copulas，在不同的预测任务中具有最先进的精度，同时支持插值和从不规则数据中学习。

分数：8, 8, 8, 8, 3

15. TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series

链接：https://openreview.net/forum?id=Tuh4nZVb0g

关键词：多元时间序列预测、嵌入（表示）、LLM

分数：6, 8, 5, 5

TEST

16. TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

链接：https://openreview.net/forum?id=YH5w12OUuU

关键词：时间序列预测、LLM

TL;DR：这项工作提出了一种用于时间序列预测的GPT

分数：5, 6, 8

TEMPO-GPT

17. Interpretable Sparse System Identification: Beyond Recent Deep Learning Techniques on Time-Series Prediction

链接：https://openreview.net/forum?id=aFWUY3E7ws

关键词：稀疏系统，识别、长时预测

TL;DR：不使用神经网络的稀疏识别方法，与最近的 SOTA 深度学习方法相比，在多变量长期预测中实现了更高的精度，并且显着降低了计算成本。

分数：8, 8, 6

GLIP

18. Disentangling Time Series Representations via Contrastive based

-Variational Inference

链接：https://openreview.net/forum?id=iI7hZSczxE

关键词：学习解缠结表示、泛化、弱监督学习、电器使用电力、多模态学习

TL;DR：介绍基于 Disco（Disentangling via Contrastive）电器用电量的

变分推理，在训练过程中解决现实相关性，以捕捉现实世界的复杂性。

分数：8, 8, 1

Disco

19. Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach

链接：https://openreview.net/forum?id=K2c04ulKXn

关键词：时间序列对比学习、医疗保健、自监督表示学习

分数：8, 8, 6

DBPM

20. Conditional Information Bottleneck Approach for Time Series Imputation

链接：https://openreview.net/forum?id=K1mcPiDdOJ

关键词：时间序列插补；信息瓶颈

分数：8, 6, 6, 6

CIB

21. DAM: A Foundation Model for Forecasting

链接：https://openreview.net/forum?id=4NhMhElWqP

关键词：预测，插补，基础模型，迁移学习

TL;DR：一种用于时间序列预测的神经模型，可以从长尾分布中摄取随机采样的长尾历史，并通过可调整的基函数组合进行预测。

分数：8, 6, 6, 8

DAM

22. TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series

链接：https://openreview.net/forum?id=xtOydkE1Ku

关键词：多元时间序列预测、copula

分数：8, 5, 6, 5

TACTiS-2

23. Retrieval-Based Reconstruction For Time-series Contrastive Learning

链接：https://openreview.net/forum?id=3zQo5oUvia

关键词：对比学习，掩码重建，自监督学习，插补，无监督学习

TL;DR：提出了一种基于检索重构(Retrieval-Based Reconstruction (REBAR))的时间序列对比学习的正负识别方法

分数：8, 5, 6, 5

REBAR

24. Leveraging Generative Models for Unsupervised Alignment of Neural Time Series Data

链接：https://openreview.net/forum?id=9zhHVyLY4K

关键词：神经动力学、迁移学习、分布对齐、小样本学习（few-shot）、神经时间序列数据、无监督学习

分数：6, 8, 6, 6

无监督对齐方案示意图

25. GAFormer: Enhancing Timeseries Transformers Through Group-Aware Embeddings

链接：https://openreview.net/forum?id=c56TWtYp0W

关键词：时间序列，transformer，时空

分数：6, 6, 6, 6, 6

GAFormer

26. Towards Transparent Time Series Forecasting

链接：https://openreview.net/forum?id=TYXtXLYHpR

关键词：透明度、可解释性、时间序列

分数：6, 6, 8, 3

TIMEVIEW

27. CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting

链接：https://openreview.net/forum?id=MJksrOhurE

关键词：时间序列预测，transformer，稳健学习（robust），token mixing

分数：6, 6, 5, 8

CARD

28. Biased Temporal Convolution Graph Network for Time Series Forecasting with Missing Values

链接：https://openreview.net/forum?id=O9nZCwdGcG

关键词：时空图神经网络，缺失值，时序预测，时空预测

分数：6, 6, 6

BiaTCGNet

29. Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs

链接：https://openreview.net/forum?id=eY7sLb0dVF

关键词：时间序列生成，库普曼理论（Koopman）；变分自动编码器（VAE）；生成模型

TL; DR：引入了用于时间序列生成的 Koopman VAE (KVAE)，它基于模型先验的新颖设计，并且可以针对规则和不规则训练数据进行优化

分数：8, 5, 6, 6

KVAE

30. Rethinking Channel Dependence for Multivariate Time Series Forecasting: Learning from Leading Indicators

链接：https://openreview.net/forum?id=JiTVtCUOpS

关键词：多元时间序列预测、通道依赖性、超前滞后关系

TL; DR：重新思考多元时间序列中的通道依赖性，并强调局部平稳的超前滞后关系。提出 LIFT 来动态利用领先指标，这使得 SOTA 方法平均提高了 5.6%。

分数：6, 6, 6, 6

LIFT

31. VQ-TR: Vector Quantized Attention for Time Series Forecasting

链接：https://openreview.net/forum?id=IxpTsFS7mh

关键词：时序预测，隐变量模型，离散表示

TL; DR：概率时间序列预测的矢量量化表示

分数：6, 6, 8

VQ-TR

32. Learning to Embed Time Series Patches Independently

链接：https://openreview.net/forum?id=WS7GuBDFa2

关键词：自监督学习、掩码时间序列建模、对比学习

TL;DR：提出了通过掩码时间序列建模进行自监督表示学习的独立patch策略。

分数：5, 8, 6, 6

PITS

33. Copula Conformal prediction for multi-step time series prediction

链接：https://openreview.net/forum?id=ojIJZDNIBj

关键词：共形预测、时间序列、不确定性量化、校准、RNN、Copula

TL;DR：通过使用 copula 对时间步长的依赖性进行建模，显着提高共形预测置信区间的效率/清晰度，用于多步时间序列预测。

分数：5, 8, 6, 5

34. CausalTime: Realistically Generated Time-series for Benchmarking of Causal Discovery

链接：https://openreview.net/forum?id=ojIJZDNIBj

关键词：因果发现，benchmark dataset

TL;DR：新颖的pipline，能够生成真实的时间序列以及可推广到不同领域ground truth的因果图。

分数：6, 8, 8, 5

CausalTime

35. STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction

链接：https://openreview.net/forum?id=6iwg437CZs

关键词：时间序列预测；多元时间序列；霍普菲尔德网络；

TL;DR:提出了STanHop-Net，一种新颖的时间序列预测模型，将基于 Hopfield 的模块与外部存储模块相结合，增强学习能力，对突发事件快速响应，并具有卓越的理论保证和经验性能。

分数：5, 8, 5, 8

36. Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting

链接：https://openreview.net/forum?id=lJkOCMP2aW

关键词：时间序列预测；transformer，多尺度

TL;DR: 提出了用于时间序列预测的具有自适应路径的多尺度transformer（Pathformer）。

分数：6, 6, 8

Pathformer

37. RobustTSF: Towards Theory and Design of Robust Time Series Forecasting with Anomalies

链接：https://openreview.net/forum?id=ltZ9ianMth

关键词：稳健时序预测，使用噪声标签学习（learning with noisy labels）

TL;DR:一种简单高效的处理时间序列数据异常的算法

分数：6, 5, 5, 6

38. Explaining Time Series via Contrastive and Locally Sparse Perturbations

链接：https://openreview.net/forum?id=qDdSRaOiyb

关键词：可解释性，扰动

分数：6, 5, 6, 6

ContraLSP

39. Parametric Augmentation for Time Series Contrastive Learning

链接：https://openreview.net/forum?id=EIPLdFy3vp

关键词：对比学习，流式数据分析

分数：6, 5, 6, 8, 8

AutoTCL

40. TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting

链接：https://openreview.net/forum?id=7oLshfEIC2

关键词：时序预测，混合网络（Mixing Networks）, MLP

TL;DR : TimeMixer 作为一种完全基于 MLP 的架构，充分利用解缠结的多尺度时间序列，在长期和短期预测任务中实现一致的 SOTA 性能，并具有良好的运行时效率。

分数：6, 5, 6, 8, 8

TimeMixer

41. T-Rep: Representation Learning for Time Series using Time-Embeddings

链接：https://openreview.net/forum?id=3y2TfP966N

关键词：多元时间序列、自监督、时间序列表示、时间特征、时间嵌入、表示学习、缺失数据

TL;DR :T-Rep 是一种以时间步粒度学习时间序列表示的自监督方法，在分类、预测和异常检测任务中优于现有的自监督算法

分数：6, 8, 5, 6, 5

T-Rep

42. Periodicity Decoupling Framework for Long-term Series Forecasting

链接：https://openreview.net/forum?id=dp27P5HBBt

关键词：时间序列分解，长时预测

TL;DR：提出了一种新颖的周期性解耦框架（PDF），通过捕获 2D 时间变化建模来进行长期序列预测。

分数：8, 3, 8, 8

PDF

43. Self-Supervised Contrastive Forecasting

链接：https://openreview.net/forum?id=nBCuRzjqK7

关键词：自监督，对比学习，长时预测

TL;DR：提出了一种新颖的周期性解耦框架（PDF），通过捕获 2D 时间变化建模来进行长期序列预测。

分数：6, 5, 6, 8

SSCF