ICML 2024 时间序列（Time Series）和时空数据（Spatial-Temporal）论文总结【抢先版】

时空探索之旅

发布于 2024-11-19 16:42:08

2580

文章被收录于专栏：时空探索之旅时空探索之旅

2024 ICML（International Conference on Machine Learning，国际机器学习会议）在2024年7月21日-27日在奥地利维也纳举行。

（好像ICLR24现在正在维也纳开）。

本文总结了ICML 24有关时间序列(Time Series) 和 时空数据(Spatial-temporal) 的相关论文，如有疏漏，欢迎大家补充。

同时我也蹭一下Mamba的热度，放了3篇ICML24接收的Mamba的文章。

时间序列Topic：预测，因果，表示学习，分类，异常检测，插补，生成，不确定性量化，基础模型，大模型

37篇：预测：1-16，表示学习，时序分析：17-22，position paper：23，24（23是大模型，24是无监督异常检测），分类：25，因果：27，28 大语言模型：16,17, 23 基础模型：4, 8, 37, 20 扩散模型：33，34，36

时空数据Topic：时空点过程，时空预测,时空图等

4篇，最后一篇涉及提示微调和大模型相关。

ICML24时序和时空标题词云

除给ICML官方链接的论文，其余均挂在arXiv或者openreview。

时间序列

1. An Analysis of Linear Time Series Forecasting Models

作者：William Toner · Luke Darlow

关键词：线性模型、时间序列预测、功能等价性、模型比较、闭式解、线性回归、特征归一化、DLinear（AAAI23）、FITS(ICLR24 Spotlight)、RLinear、NLinear（AAAI23）

机构：爱丁堡大学（Edinburgh），华为研究中心（爱丁堡）

链接：https://arxiv.org/abs//2403.14587

解读：AI论文速读 | 线性时间序列预测模型分析

2. Deep Functional Factor Models: Forecasting High-Dimensional Functional Time Series via Bayesian Nonparametric Factorization

作者：Yirui Liu · Xinghao Qiao · Yulong Pei · Liying Wang

机构：伦敦政治经济学院（LSE），埃因霍芬理工大学，利物浦大学（Liverpool）

关键词：预测，贝叶斯非参数模型，可解释性

链接：https://arxiv.org/abs/2305.14543

DF2M

3. Transformers with Loss Shaping Constraints for Long-Term Time Series Forecasting

作者：Ignacio Hounie · Javier Porras-Valenzuela · Alejandro Ribeiro

机构：宾夕法尼亚大学（UPenn）

关键词：长时预测，约束学习

链接：https://arxiv.org/abs/2402.09373

4. Unified Training of Universal Time Series Forecasting Transformers

作者：Gerald Woo · Chenghao Liu · Akshat Kumar · Caiming Xiong · Silvio Savarese · Doyen Sahoo

机构：Salesforce，新加坡管理大学（SMU）

链接：https://arxiv.org/abs/2402.02592

代码：https://github.com/SalesforceAIResearch/uni2ts

关键词：大规模预训练模型（没有语言，但是够大），时序预测

MOIRAI

5. CATS: Enhancing Multivariate Time Series Forecasting by Constructing Auxiliary Time Series as Exogenous Variables

作者：Jiecheng Lu · Xu Han · Sun · Shihao Yang

机构：佐治尼亚理工学院（Gatech），Amazon

链接：https://arxiv.org/abs/2403.01673

关键词：多元时序预测

CATS

6. Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention

作者：Romain Ilbert · Ambroise Odonnat · Vasilii Feofanov · Aladin Virmaux · Giuseppe Paolo · Themis Palpanas · Ievgen Redko

链接：华为诺亚方舟实验室，LIPADE, Paris Descartes University

关键词：预测，Transformers

链接：https://arxiv.org/abs/2402.10198

代码：https://github.com/romilbert/samformer

SAMFormer

7. SIN: Selective and Interpretable Normalization for Long-Term Time Series Forecasting

作者：Lu Han · Han-Jia Ye · De-Chuan Zhan

关键词：长时预测，可解释性

链接：https://icml.cc/virtual/2024/poster/33594

8. A decoder-only foundation model for time-series forecasting

作者：Abhimanyu Das · Weihao Kong · Rajat Sen · Yichen Zhou

关键词：预测，基础模型，decoder-only

链接：https://arxiv.org/abs/2310.10688

decoder-only foundation model4TSF

这篇比较火爆，三大号机器之心出过报道：机器之心：2亿参数时序模型替代LLM？谷歌突破性研究被批「犯新手错误」

9. Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

作者：Changze Lv · Yansen Wang · Dongqi Han · Xiaoqing Zheng · Xuanjing Huang · Dongsheng Li

机构：复旦大学，MSRA

关键词：预测，脉冲神经网络

链接：https://arxiv.org/abs/2402.01533

SNN4TSF

10. SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters

作者：Shengsheng Lin · Weiwei Lin · Wentai Wu · Haojun Chen · Junjie Yang

机构：华南理工大学，鹏城实验室，暨南大学

关键词：长时预测

链接：https://arxiv.org/abs/2405.00946

代码：https://github.com/lss-1138/SparseTSF

11. Irregular Multivariate Time Series Forecasting: A Transformable Patching Graph Neural Networks Approach

作者：Weijia Zhang · Chenlong Yin · Hao Liu · Xiaofang Zhou · Hui Xiong

关键词：不规则多元时序预测

链接：https://icml.cc/virtual/2024/poster/33940

12. Learning Optimal Projection for Forecast Reconciliation of Hierarchical Time Series

作者：Asterios Tsiourvas · Wei Sun · Georgia Perakis · Pin-Yu Chen · Yada Zhu

关键词：多层级时间序列预测

链接：https://icml.cc/virtual/2024/poster/34990

13. Time-Series Forecasting for Out-of-Distribution Generalization Using Invariant Learning

作者：haoxin liu · Harshavardhan Kamarthi · Lingkai Kong · Zhiyuan Zhao · Chao Zhang · B. Aditya Prakash

关键词：预测，分布外泛化，不变学习

链接：https://icml.cc/virtual/2024/poster/34011

14. Reservoir Computing for Short High-Dimensional Time Series: an Application to SARS-CoV-2 Hospitalization Forecast

作者：Thomas Ferté · Dutartre Dan · Boris Hejblum · Romain Griffier · Vianney Jouhet · Rodolphe Thiébaut · Pierrick Legrand · Xavier Hinaut

关键词：高维时序，流行病预测

链接：https://icml.cc/virtual/2024/poster/34677

15. Revitalizing Multivariate Time Series Forecasting: Learnable Decomposition with Inter-Series Dependencies and Intra-Series Variations Modeling

作者：Guoqi Yu · Jing Zou · Xiaowei Hu · Angelica I Aviles-Rivero · Jing Qin · Emma, Shujun Wang

机构：香港理工大学（PolyU），电子科技大学，上海AI Lab，剑桥大学

关键词：多元时序预测，时序分解

链接：https://arxiv.org/abs/2402.12694

16.

\text{S}^2

IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

作者：Zijie Pan · Yushan Jiang · Sahil Garg · Anderson Schneider · Yuriy Nevmyvaka · Dongjin Song

机构：康涅狄格大学，摩根士丹利

关键词：预测，提示学习，大语言模型

链接：https://arxiv.org/abs/2403.05798

解读：圆圆的算法笔记：时间序列预测+NLP大模型新作：为时序预测自动生成隐式Prompt

S2IPLLM

17. Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning

作者：Yuxuan Bian · Xuan Ju · Jiangtong Li · Zhijian Xu · Dawei Cheng · Qiang Xu

关键词：表示学习，大语言模型

链接：https://arxiv.org/abs/2402.04852

解读：圆圆的算法笔记: 2篇最新时间序列大模型工作解读

ALLM4TS

18. TSLANet: Rethinking Transformers for Time Series Representation Learning

作者：Emadeldeen Eldele, Mohamed Ragab, Zhenghua Chen, Min Wu, Xiaoli Li

机构：A*Star（新加坡科技研究局）

关键词：表示学习，轻量级模型，自适应频谱块，交互式卷积块，自监督预训练，Transformer，卷积神经网络。

链接：https://arxiv.org/abs/2404.08472

代码：https://github.com/emadeldeen24/TSLANet

TSLANet

19. MF-CLR: Multi-Frequency Contrastive Learning Representation for Time Series

作者：Jufang Duan · wei zheng · Yangzhou Du · Wenfa Wu · Haipeng Jiang · Hongsheng Qi

关键词：对比学习，表示学习

链接：https://icml.cc/virtual/2024/poster/33488

20. Timer: Transformers for Time Series at Scale

作者：Yong Liu · Haoran Zhang · Chenyu Li · Xiangdong Huang · Jianmin Wang · Mingsheng Long

关键词：时间序列分析，基础模型，Transformer，LTSM（大时间序列语言模型），统一时间序列数据集（UTSD）

链接：https://arxiv.org/abs/2402.02368

解读：【重制版】AI论文速读 | 计时器（Timer）：用于大规模时间序列分析的Transformer

Timer

21. TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling

作者：Jiaxiang Dong, Haixu Wu, Yuxuan Wang, Yunzhong Qiu, Li Zhang, Jianmin Wang, Mingsheng Long

关键词：预训练，时间序列建模

链接：https://arxiv.org/abs/2402.02475

TimeSiam

22. UP2ME: Univariate Pre-training to Multivariate Fine-tuning as a General-purpose Framework for Multivariate Time Series Analysis

作者：Yunhao Zhang · Liu Minghao · Shengyang Zhou · Junchi Yan

关键词：时间序列分析

链接：https://icml.cc/virtual/2024/poster/33686

23. Position Paper: What Can Large Language Models Tell Us about Time Series Analysis

作者：Ming Jin · Yi-Fan Zhang · Wei Chen · Kexin Zhang · Yuxuan Liang · Bin Yang · Jindong Wang · Shirui Pan · Qingsong Wen

关键词：时间序列分析，大语言模型

链接：https://arxiv.org/abs/2402.02713

解读：AI论文速读 | 立场观点:时间序列分析，大模型能告诉我们什么？

LLM和时间序列结合解决现实问题的巨大潜力

24. Position Paper: Quo Vadis, Unsupervised Time Series Anomaly Detection?

作者：M. Saquib Sarfraz · Mei-Yen Chen · Lukas Layer · Kunyu Peng · Marios Koulakis

关键词：异常检测，无监督

链接：https://arxiv.org/abs/2405.02678

backbone

25. TimeMIL: Advancing Multivariate Time Series Classification via a Time-aware Multiple Instance Learning

作者：Xiwen Chen · Peijie Qiu · Wenhui Zhu · Huayu Li · Hao Wang · Aristeidis Sotiras · Yalin Wang · Abolfazl Razi

机构：克莱姆森大学，圣路易斯华盛顿大学，亚利桑那州立大学，亚利桑那大学

关键词：多元时间序列分类，多示例学习

链接：https://arxiv.org/abs/2405.03140

代码：https://github.com/xiwenc1/TimeMIL

TimeMIL

26. Learning Causal Relations from Subsampled Time Series with Two Time-Slices

作者：Anpeng Wu · Haoxuan Li · Kun Kuang · zhang keli · Fei Wu

关键词：因果推理，基于拓扑的算法、后代分层拓扑、条件独立准则

链接：https://openreview.net/forum?id=mGmx41FTTy

PM-CMR

27. Discovering Mixtures of Structural Causal Models from Time Series Data

作者：Sumanth Varambally · Yian Ma · Rose Yu

机构：加州大学圣地亚哥分校（UCSD）

关键词：结构因果模型（SCM）

链接：https://arxiv.org/abs/2310.06312

MCD-Linear

28. CauDiTS: Causal Disentangled Domain Adaptation of Multivariate Time Series

作者：Junxin Lu · Shiliang Sun

关键词：因果解纠缠，域适应

链接：https://icml.cc/virtual/2024/poster/33195

29. A Vector Quantization Pretraining Method for EEG Time Series with Random Projection and Phase Alignment

作者：Haokun GUI · Xiucheng Li · Xinyang Chen

关键词：EEG，矢量量化

链接：https://icml.cc/virtual/2024/poster/34865

30. An Empirical Examination of Balancing Strategy for Counterfactual Estimation on Time Series

作者：Qiang Huang · Chuizheng Meng · Defu Cao · Biwei Huang · Yi Chang · Yan Liu

关键词：反事实估计

链接：https://icml.cc/virtual/2024/poster/34183

31. Bayesian Online Multivariate Time Series Imputation with Functional Decomposition

作者：Shikai Fang · Qingsong Wen · Yingtao Luo · Shandian Zhe · Liang Sun

机构：犹他大学（Utah）,松鼠AI，卡耐基梅隆大学（CMU），阿里巴巴达摩院

关键词：插补，高斯过程，不确定性量化

链接：https://arxiv.org/abs/2308.14906

BayOTIDE

32. Conformal prediction for multi-dimensional time-series

作者：Chen Xu · Hanyang Jiang · Yao Xie

机构：佐治亚理工大学（Gatech）

关键词：共形预测，不确定性量化

链接：https://arxiv.org/abs/2403.03850

代码：https://github.com/hamrel-cxu/MultiDimSPCI

MultiDimSPCI

33. Time Weaver: A Conditional Time Series Generation Model

作者：Sai Shankar Narasimhan · Shubhankar Agarwal · Oguzhan Akcin · Sujay Sanghavi · Sandeep Chinchali

机构：德克萨斯大学奥斯汀分校（UTA）

关键词：条件时间序列生成，扩散模型

链接：https://arxiv.org/abs/2403.02682

TIME WEAVER

34. Probabilistic time series modeling with decomposable denoising diffusion model

作者：Tijin Yan · Hengheng Gong · Yongping He · Yufeng Zhan · Yuanqing Xia

关键词：概率时间序列建模，扩散模型

链接：https://icml.cc/virtual/2024/poster/34729

35. TimeX++: Learning Time-Series Explanations with Information Bottleneck

作者：Zichuan Liu · Tianchun Wang · Jimeng Shi · Xu Zheng · Zhuomin Chen · Lei Song · Wenqian Dong · Jayantha Obeysekera · Farhad Shirani · Dongsheng Luo

关键词：可解释性，信息瓶颈

链接：https://icml.cc/virtual/2024/poster/32881

36. Time Series Diffusion in the Frequency Domain

作者：Jonathan Crabbé · Nicolas Huynh · Jan Stanczuk · Mihaela van der Schaar

机构：剑桥大学

关键词：扩散模型，傅里叶分析

链接：https://arxiv.org/abs/2402.05933

代码：https://github.com/JonathanCrabbe/FourierDiffusion

FourierDiffusion

37. MOMENT: A Family of Open Time-series Foundation Models

作者：Mononito Goswami · Arjun Choudhry · Konrad Szafer · Yifu Cai · Shuo Li · Artur Dubrawski

关键词：基础模型

链接：https://arxiv.org/abs/2402.03885

代码：http://anonymous.4open.science/r/BETT-773F/

解读：时序人：MOMENT：CMU发布首个开源的时间序列基础大模型

MOMENT

时空数据

1. Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting

作者：Andrea Cini · Danilo Mandic · Cesare Alippi

机构：提契诺大学，帝国理工学院，米兰理工大学

关键词：时空预测，图结构

链接：https://arxiv.org/abs/2305.19183

2. Graph-based Forecasting with Missing Data through Spatiotemporal Downsampling

作者：Ivan Marisca · Cesare Alippi · Filippo Maria Bianchi

关键词：缺失值下的时空预测，下采样

机构：提契诺大学，米兰理工大学，挪威特罗姆瑟大学，挪威研究中心

链接：https://arxiv.org/abs/2402.10634

3. Beyond Point Prediction: Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process

作者：Zichong Li · Qunzhi Xu · Zhenghao Xu · Yajun Mei · Tuo Zhao · Hongyuan Zha

机构：佐治尼亚理工学院（Gatech），香港中文大学

关键词：时空点过程（STPP），基于分数，不确定性量化

链接：https://arxiv.org/abs/2310.16310 （标题略有差异，作者一致）

4. A Simple and Universal Prompt-Tuning Framework for Spatio-Temporal Prediction

作者：Zhonghang Li · Lianghao Xia · Yong Xu · Chao Huang

机构：华南理工大学，香港大学

关键词：提示微调，时空预测

链接：https://icml.cc/virtual/2024/poster/32765

Mamba

Mamba进行了自我更新迭代变为了Mamba2接收了（Gu和Dao换了一下作者顺序）

Transformers are SSMs: Generalized Models and Efficient Algorithms with Structured State Space Duality

作者：Tri Dao，Albert Gu

链接：https://icml.cc/virtual/2024/poster/32613

注：现在都是poster，还没有评出来Oral

Mamba2

另外标题带Mamba的还有两篇

Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

（已经太多号推过这个文章了）

作者：Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, Xinggang Wang

机构：华中科技大学，地平线机器人，北京智源研究院

链接：https://arxiv.org/abs/2401.09417

代码：https://github.com/hustvl/Vim

VisionMamba

Can Mamba Learn How To Learn? A Comparative Study on In-Context Learning Tasks

作者：Jongho Park, Jaeseung Park, Zheyang Xiong, Nayoung Lee, Jaewoong Cho, Samet Oymak, Kangwook Lee, Dimitris Papailiopoulos

机构：蓝洞工作室（做绝地求生即吃鸡那个公司），首尔大学，威斯康辛大学麦迪逊分校，密歇根大学安娜堡分校

链接：https://arxiv.org/abs/2402.04248

代码：https://github.com/krafton-ai/mambaformer-icl

MambaFormer

如果搜索状态空间模型（State space Models&State-space Models）还有7篇，就不赘述了，放两张截图，感兴趣的读者可以自行查阅。

State space Models

State-space Models