2024年NIPS中6篇时序大模型研究汇总

1、论文标题：AutoTimes: Autoregressive Time Series Forecasters via Large Language Models(NIPS24)

本文提出 AutoTimes，将大型语言模型重新定位为自回归时间序列预测器，把时间序列投射到语言标记的嵌入空间中，自动回归生成任意长度的未来预测。该预测器与任何仅解码器的大型语言模型都兼容，展现出回溯长度的灵活性，而且随着大型语言模型规模的增大，其可扩展性也得以体现。此外，把时间序列构建成提示形式，将预测的上下文拓展到回溯窗口之外，即情境内预测。通过引入嵌入大型语言模型的文本时间戳，AutoTimes 能够利用时间顺序信息来对齐多元时间序列。从经验角度来看，与先进的基于大型语言模型的预测器相比，AutoTimes 仅用 0.1% 的可训练参数就达到了顶尖水平，训练 / 推理速度更是提高了 5 倍有余。

2、论文标题：Are Language Models Actually Useful for Time Series Forecasting?(NIPS24)

大型语言模型（LLMs）正被应用于时间序列预测。但语言模型对时间序列真的有用吗？在对三种近期流行的基于大型语言模型的时间序列预测方法进行的一系列消融研究中，我们发现移除大型语言模型组件或者用一个基本的注意力层代替它，并不会降低预测性能 —— 在大多数情况下，结果甚至有所提高！我们还发现，尽管预训练的大型语言模型计算成本很高，但它们并不比从头开始训练的模型表现更好，它们无法体现时间序列中的顺序依赖关系，在少样本情境下也没有帮助。此外，我们对时间序列编码器进行了探索，发现拼接和注意力结构的性能与基于大型语言模型的预测器相近。

3、论文标题：From News to Forecast: Iterative Event Reasoning in LLM-Based Time Series Forecasting(NIPS24)

本文利用大型语言模型（LLMs）和生成式智能体，通过对文本和时间序列数据进行推理来增强时间序列预测。以语言为媒介将社会事件自适应地整合到预测模型中，使新闻内容与时间序列的波动相匹配，从而提供更丰富的见解。具体而言，作者利用基于大型语言模型的智能体迭代地过滤掉无关的新闻，并采用类人推理来评估预测。这使得模型能够分析复杂事件，如意外事件和社会行为的变化，并持续改进新闻的选择逻辑和智能体输出的稳健性。通过将选定的新闻事件与时间序列数据相结合，作者对一个预训练的大型语言模型进行微调，以预测时间序列中的数字序列。结果表明预测准确性有了显著提高，这意味着通过有效利用非结构化新闻数据，时间序列预测可能会出现范式转变。

4、论文标题：Large Pre-trained time series models for cross-domain Time series analysis tasks(NIPS24)

本文从不同领域的异构时间序列中提取对模型语义上有用的标记化输入，提出了大型预训练时间序列模型（LPTM），它引入了一种自适应分割的新方法，该方法在预训练期间自动确定特定于数据集的最佳分割策略。这使得LPTM在针对不同的下游时间序列分析任务进行微调以及在零样本设置下，其性能与特定领域的最先进模型相近或更优。与最先进的基准相比，LPTM在实现更优的预测和时间序列分类结果的同时，所使用的数据量减少了40%，训练时间减少了50%。

5、论文标题：TIME-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting(NIPS24)

本文提出了TIME-FFM，一种利用预训练语言模型的时间序列预测联邦基础模型。作者首先将时间序列转换为文本标记的形式。为了引导语言模型进行时间序列推理，提出了一个提示适配模块，用于动态地（而非人工地）确定针对特定领域的提示。鉴于跨领域的数据异质性，通过学习全局编码器和局部预测头设计了一种个性化的联邦训练策略。实验表明，TIME - FFM的性能优于现有技术，并有望成为有效的少样本和零样本预测器。

6、论文标题：Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series(NIPS24)

本文引入了微型时间混合器（TTM），一种紧凑的模型（从100万参数起步），具有有效的迁移学习能力，仅在公开的时间序列数据集上进行训练。TTM基于轻量级的TSMixer架构，融合了自适应分块、多样分辨率采样和分辨率前缀调整等创新技术，能够以最小的模型容量处理不同数据集分辨率下的预训练。此外，它采用多级建模来捕获通道相关性，并在微调过程中注入外生信号。在零/少样本预测方面，TTM比现有的流行基准模型性能高出（4 - 40%），同时显著降低了计算需求。而且，TTM很轻便，甚至可以在仅有CPU的机器上运行，提高了可用性，有利于在资源受限的环境中更广泛地应用。