时序论文33｜NIPS24借助大型语言模型的自回归时间序列预测器AutoTimes

论文标题：AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

论文链接：https://arxiv.org/abs/2402.02370

代码链接：https://github.com/thuml/AutoTimes

新建了一个时序研究交流及论文资料分享群，感兴趣的可以从后台加入～～

前言

最近大家在读ICLR25的文章吗？感觉高分论文需要的知识储备好多，阅读门槛也太高了～

回到这篇文章，本文提出“AutoTimes”方法，旨在将大型语言模型重新用于自回归时间序列预测，通过把时间序列投射到语言标记的嵌入空间中，并以自回归的方式生成任意长度的未来预测结果。“AutoTimes”将时间序列表述为提示信息，将预测的上下文扩展到回顾窗口之外，这被称为“上下文内预测”。通过引入嵌入大型语言模型的文本时间戳，“AutoTimes”能够利用时间顺序信息来对齐多元时间序列。与先进的基于大型语言模型的预测器相比，“AutoTimes”仅用0.1%的可训练参数就实现了最先进的性能，并且训练/推理速度提升了5倍以上。

图1：（a）流行的大型语言模型用于时间序列（LLM4TS）的方法通过对lookback序列进行全局展平表示，以非自回归的方式生成预测结果，然而大型语言模型本身是通过自回归来预测下一个token。（b）以往的方法采用语言提示，这可能会导致模态差异，而作者发现时间序列可以自我提示，这被称为上下文内预测。

实际上，如果能把自回归的大型语言模型用于时间序列，就可能解锁类似大型语言模型的多步生成能力，实现用一个模型应对任意长度！

本文模型

受这些思考的启发，作者提出了“AutoTimes”方法，该方法恢复了自回归的一致性，并重新激活大型语言模型的能力，以此打造用于时间序列预测的基础模型。

01 Modality Alignment

time series token。定义为单个变量连续无重叠的片段，作为预测器通用token以涵盖序列变化、缓解过长自回归问题，且预测器独立预测各变量，还会把时间戳转成位置嵌入来对齐同时段token。同时，考虑到通用的标记转换，作者冻结了大型语言模型的参数，并建立函数将时间序列片段独立嵌入到与大型语言模型维度一致的潜在空间中，以实现时间序列标记与语言标记的逐标记对齐。

position embedding。这块主要讲时间戳，在大语言模型用于时间序列（LLM4TS）中，时间戳能起到增强的作用，但通常是构建成前缀提示，会导致上下文长度过长，从而阻碍模型对时间序列本身的关注。受位置嵌入的启发，本文采用嵌入大型语言模型的时间戳作为位置嵌入，具体是依据图 3 所示模板来制定相应片段的起始和结束时间戳。

02 Next Token Prediction

当前，常见的大型语言模型具备依据先前标记预测后续标记的能力。“AutoTimes”也一样，迭代生成任意长度的预测结果。具体而言，先将时间序列进行分割并嵌入，随后将其输入大型语言模型的中间层，然后通过投影等操作，依据真实值优化相关参数。值得注意的是，在训练过程中所确定的上下文长度，实际上代表了推理阶段的最大输入长度，这使得该预测器能够灵活地适配不同的输入长度。

实验分析

结论

这篇论文主要围绕时间序列预测的基础模型开发展开，核心方法如下：首先，考虑到大型语言模型（LLMs）具备通用及多步生成能力，将现成的LLMs转变为自回归预测器来服务于时间序列预测任务。其次，指出以往流行的非自回归的LLM用于时间序列的方法存在不足，因其与LLMs仅解码器结构存在矛盾，使得LLMs的能力没能被充分利用，而该论文所提方法克服了这一问题。然后，经过实验证明，所提方法展现出了卓越的性能，模型效率也颇为可观。而且进一步分析发现，该预测器成功继承了像零样本、上下文内预测这类先进能力，还能对具有指导作用的时间序列以及时间戳加以有效运用。