近三年时间序列大模型相关工作合集汇总

科学最Top

发布于 2025-05-26 11:37:11

2.2K0

文章被收录于专栏：科学最Top科学最Top

近年来，时间序列与大语言模型的交叉研究涌现出诸多创新成果，可归纳为五大方向：

在基础模型架构方面，ChatTS将时间序列作为独立模态实现多模态推理，MOTOR开创医疗事件发生时间预测基础模型，Lag-Llama以解码器Transformer结合滞后值提升概率预测能力，UniTS通过统一架构支持分类、预测等多任务，Timer则以类GPT生成式框架处理跨任务需求；
数据生成与处理方面，MOMENT构建大规模Time series Pile数据集实现跨域预训练，Chronos通过标记化和合成数据增强泛化，MOIRAI在含270亿条数据的LOTSA上突破“一数据集一模型”局限；
跨模态对齐与LLM适配中，TEST和Time-LLM分别通过嵌入对齐和文本原型重编程让LLM处理时间序列，AutoTimes则以轻量级设计提升推理效率；
联邦学习与轻量化模型领域，TIME-FFM结合联邦策略和提示自适应处理异质数据，TTM以百万级参数实现高效零/少样本预测；
应用探索方面，Event Stream GPT提供事件序列建模工具，News to Forecast融合新闻事件增强预测，同时有研究质疑LLM在时间序列中的实际效用。这些研究共同推动时间序列从任务专用模型向基础模型转型，通过生成式预训练、跨模态整合等突破数据与架构瓶颈，但也凸显LLM适配性争议及轻量化应用需求。

论文标题：ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning（VLDB25）

本文介绍了专为时间序列分析设计的新型多模态大语言模型ChatTS。ChatTS将时间序列视为一种模态，类似于视觉多模态大语言模型处理图像的方式，使其能够对时间序列进行理解和推理。为解决训练数据稀缺问题，提出了一种基于属性的方法来生成带有详细属性描述的合成时间序列。引入了Time Series Evol-Instruct这一新型方法，用于生成多样化的时间序列问答，以增强模型的推理能力。已在https://github.com/NetManAIOps/ChatTS开源了源代码、模型检查点和数据集。

论文标题：MOTOR：A Time-To-Event Foundation Model For Structured Medical Records （ICLR24）

本文提出了 MOTOR 这一自我监督的事件发生时间（TTE）基础模型，它在电子健康记录和健康保险索赔的时间戳事件序列上预训练。TTE 模型在医疗场景中预估特定事件发生前的时间概率分布很关键，但训练有挑战，MOTOR 通过大量患者记录预训练应对。经评估，基于它改编的模型提升了时间依赖的 C 统计数据、标签效率，且对时间分布变化更鲁棒，在跨站点可移植性评估中也优于基线。它是医学 TTE 预测首个基础模型，已发布预训练模型供研究。

论文标题：TEST：Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series（ICLR24）

本文总结了在大型语言模型（LLM）环境下完成时间序列（TS）任务的两种方法，鉴于数据、资源等问题，聚焦利用 LLM 处理 TS 数据。本文提出 TEST 方法，通过对 TS 标记、构建编码器嵌入 TS 使嵌入空间与 LLM 匹配，创建软提示，用冻结 LLM 完成任务。从理论和实验验证可行性，实验表明采用该策略的预训练 LLM 性能优，能赋予 LLM 处理 TS 数据能力，为相关工作奠基。

论文标题：Time-LLM：Time Series Forecasting by Reprogramming Large Language Models（ICLR24）

本文指出时间序列预测虽重要但模型常需专门设计，预训练基础模型因数据稀疏在该领域发展受限，而大型语言模型（LLM）有模式识别和推理能力。为此本文提出 TIME - LLM 重新编程框架，用文本原型重新编程输入时间序列并输入冻结 LLM 对齐模式，提出 PaP 方法增强推理能力，经投影得预测结果。评估显示它性能优，在少样本和零样本场景表现好，代码已公开。

论文标题：Exploring Representations and Interventions in Time Series Foundation Models（ICLR25）

本文聚焦时间序列基础模型（TSFM），指出其虽有望成为广泛应用的强大工具，但内部表征和学习概念尚不明确。研究探究了各种 TSFM 中表示的结构和冗余，检查不同模型大小内及之间模型层的自相似性，发现表示中的块状冗余可用于知情修剪以提升推理效率。还探讨了模型学习的概念（如周期性和趋势），以及如何通过潜在空间操纵影响模型行为。实验表明转向干预能引入新特征，强调了表征分析对优化模型的价值，展示了概念导向为 TSFM 进行更优时间序列分析提供新可能。

论文标题：A Simple Baseline for Multivariate Time Series Forecasting（ICLR25）

本文提及大型语言模型多功能性引发大量适配其他模式的工作，包括修改现有模型、利用语言模型训练多模态模型，或从预训练检查点出发附加适配器处理新模态（如时间序列）。后一种方法效果突出但训练或微调大型模型成本高。于是研究并表征多元时间序列预测的简单模型性能曲线，该模型基于经典标记化思想，通过自我关注等方式交互。发现多数基准测试中，单层或双层模型能与更大（甚至基于 LLM 的）模型竞争。

论文标题：TOWARDS NEURAL SCALING LAWS FOR TIME SERIES FOUNDATION MODELS（ICLR25）

本文指出标度定律对时间序列基础模型（TSFM）设计有价值，但之前研究多关注其分布内（ID）数据缩放规律，对分布外（OOD）缩放行为和模型架构影响探索少。此次研究两种常见 TSFM 架构（仅编码器和仅去卷积变换器）在 ID 和 OOD 数据上的缩放行为。实验表明 TSFM 的负对数似然性在 OOD 和 ID 设置中缩放行为相似，不同架构缩放特性有别，模型架构对缩放作用重要。在 ID 数据上，仅编码器的 Transformer 可扩展性更好，高级 TSFM 架构增强提升 ID 性能却降低 OOD 可扩展性。通过综合发现，为设计和扩展大型 TSFM 提供实用指导方针。

论文标题：TIME-MOE BILLION-SCALE TIME SERIES FOUN-DATION MODELS WITH MIXTURE OF EXPERTS（ICLR25）

本文引入 TIME - MOE 架构，利用稀疏混合专家（MoE）设计提高计算效率，可扩展且统一，能预训练更强大预测基础模型并降低推理成本。它包含一系列仅解码器变换器模型，支持灵活预测范围，在大规模数据 time - 300B 上预训练，将时间序列基础模型参数扩展到 24 亿，提高预测精度，验证了缩放定律适用性，相比密集模型表现更优，是应对现实世界时间序列预测挑战的先进方案。

论文标题：Event Stream GPT - A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events

本文提供了一个软件工具，将 GPT 的适用范围扩展到具有内部依赖关系的复杂事件的连续时间序列，作者引入了 Event Stream GPT（ESGPT），这是一个开源库，旨在简化为连续时间事件序列构建 GPT 的端到端流程。ESGPT 允许用户：（1）只需指定一个最小配置文件，即可构建灵活的、基础模型规模的输入数据集；（2）利用与 Hugging Face 兼容的 GPT 建模 API，该 API 结合了事件内因果依赖结构和自回归生成能力；（3）通过标准化流程评估模型，能够评估预训练模型在用户指定的微调任务上的少样本甚至零样本性能。

论文标题：AutoTimes - Autoregressive Time Series Forecasters via Large Language Models

作者提出了 AutoTimes，将 LLM 重新用作自回归时间序列预测器，它将时间序列投影到语言标记的嵌入空间，并自回归地生成任意长度的未来预测。生成的预测器与任何仅解码器的 LLM 兼容，具有回溯长度的灵活性，并且随着更大的 LLM 具有可扩展性。此外，作者将时间序列表述为提示，将预测上下文扩展到回溯窗口之外，称为上下文内预测。通过引入嵌入 LLM 的文本时间戳，AutoTimes 可以利用时间信息来对齐多元时间序列。实验表明，与先进的基于 LLM 的预测器相比，AutoTimes 以 0.1% 的可训练参数实现了最先进的性能，并且训练 / 推理速度提高了 5 倍以上。代码可在以下存储库获取：https://github.com/thuml/AutoTimes 。

论文标题：Time-FFM Towards LM Empowered Federated Foundation Model for Time Series Forecasting

作者提出了 TIME-FFM，这是一个利用预训练 LM 的用于时间序列预测的联邦基础模型。具体来说，作者首先将时间序列转换为文本标记的形式。为引导 LM 进行时间序列推理，作者提出了一个提示自适应模块，以动态确定特定领域的提示，而不是人工确定。考虑到不同领域的数据异质性，作者设计了一种个性化的联邦训练策略，通过学习全局编码器和本地预测头。综合实验表明，TIME - FFM 优于现有技术，有望成为有效的少样本和零样本预测器。

论文标题：Abstracted Shapes as Tokens - A Generalizable and Interpretable Model for Time-series Classification

本文提出了 VQShape，这是一个预训练的、可泛化且可解释的时间序列表示学习和分类模型。通过引入一种新颖的时间序列数据表示方法，作者在 VQShape 的潜在空间和形状级特征之间建立了联系。利用向量量化，作者表明来自不同领域的时间序列可以用一组统一的低维代码来描述，其中每个代码都可以表示为时域中的抽象形状。在分类任务中，作者表明 VQShape 的表示可以用于构建可解释的分类器，其性能与专业模型相当。此外，在零样本学习中，VQShape 及其码本可以泛化到预训练过程中未包含的先前未见的数据集和领域。

论文标题：ElasTST: Towards Robust Varied-Horizon Forecasting with Elastic Time-Series Transformer

本文提出ElasTST 模型，采用非自回归设计，带有占位符和结构化自注意力掩码，确保未来输出不受推理范围调整的影响。ElasTST 还集成了可调版本的旋转位置嵌入，以捕捉时间序列特定的周期并增强对不同范围的适应性。此外，ElasTST 采用多尺度补丁设计，有效整合了细粒度和粗粒度信息。通过与最先进的时间序列架构和当代基础模型进行全面实验和比较，作者证明了 ElasTST 独特设计元素的有效性。研究结果表明，ElasTST 是满足不同预测范围实际需求的可靠解决方案。

论文标题：A DECODER - ONLY FOUNDATION MODEL FOR TIME - SERIES FORECASTING

受自然语言处理（NLP）领域大型语言模型最新进展的启发，本文设计了一种用于预测的时间序列基础模型。该模型在各种公共数据集上的开箱即零样本性能，接近针对每个独立数据集的最先进监督预测模型的准确性。模型基于使用包含真实世界和合成数据集的大型时间序列语料库，对带有输入补丁的解码器式注意力模型进行预训练。在一组以前未见的预测数据集上进行的实验表明，该模型能够在不同领域、预测范围和时间粒度上产生准确的零样本预测。

论文标题：Are Language Models Actually Useful for Time Series Forecasting?(NIPS24)

大型语言模型（LLMs）正被应用于时间序列预测。但语言模型对时间序列真的有用吗？在对三种近期流行的基于大型语言模型的时间序列预测方法进行的一系列消融研究中，我们发现移除大型语言模型组件或者用一个基本的注意力层代替它，并不会降低预测性能 —— 在大多数情况下，结果甚至有所提高！我们还发现，尽管预训练的大型语言模型计算成本很高，但它们并不比从头开始训练的模型表现更好，它们无法体现时间序列中的顺序依赖关系，在少样本情境下也没有帮助。此外，我们对时间序列编码器进行了探索，发现拼接和注意力结构的性能与基于大型语言模型的预测器相近。

论文标题：From News to Forecast: Iterative Event Reasoning in LLM-Based Time Series Forecasting(NIPS24)

本文利用大型语言模型（LLMs）和生成式智能体，通过对文本和时间序列数据进行推理来增强时间序列预测。以语言为媒介将社会事件自适应地整合到预测模型中，使新闻内容与时间序列的波动相匹配，从而提供更丰富的见解。具体而言，作者利用基于大型语言模型的智能体迭代地过滤掉无关的新闻，并采用类人推理来评估预测。这使得模型能够分析复杂事件，如意外事件和社会行为的变化，并持续改进新闻的选择逻辑和智能体输出的稳健性。通过将选定的新闻事件与时间序列数据相结合，作者对一个预训练的大型语言模型进行微调，以预测时间序列中的数字序列。结果表明预测准确性有了显著提高，这意味着通过有效利用非结构化新闻数据，时间序列预测可能会出现范式转变。

论文标题：Large Pre-trained time series models for cross-domain Time series analysis tasks(NIPS24)

本文从不同领域的异构时间序列中提取对模型语义上有用的标记化输入，提出了大型预训练时间序列模型（LPTM），它引入了一种自适应分割的新方法，该方法在预训练期间自动确定特定于数据集的最佳分割策略。这使得LPTM在针对不同的下游时间序列分析任务进行微调以及在零样本设置下，其性能与特定领域的最先进模型相近或更优。与最先进的基准相比，LPTM在实现更优的预测和时间序列分类结果的同时，所使用的数据量减少了40%，训练时间减少了50%。

论文标题：Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series(NIPS24)

本文引入了微型时间混合器（TTM），一种紧凑的模型（从100万参数起步），具有有效的迁移学习能力，仅在公开的时间序列数据集上进行训练。TTM基于轻量级的TSMixer架构，融合了自适应分块、多样分辨率采样和分辨率前缀调整等创新技术，能够以最小的模型容量处理不同数据集分辨率下的预训练。此外，它采用多级建模来捕获通道相关性，并在微调过程中注入外生信号。在零/少样本预测方面，TTM比现有的流行基准模型性能高出（4 - 40%），同时显著降低了计算需求。而且，TTM很轻便，甚至可以在仅有CPU的机器上运行，提高了可用性，有利于在资源受限的环境中更广泛地应用。

论文标题：Timer: Generative Pre-trained Transformers Are Large Time Series Models

本文针对深度学习在时间序列分析中面临的数据稀缺瓶颈，提出构建大规模时间序列模型（LTSM），通过整合10亿时间点的异构数据并统一为单序列序列（S3）格式，采用类GPT架构将预测、补全和异常检测等任务转化为生成式任务，预训练得到的时间序列Transformer（Timer）在下游任务中展现出优异的泛化能力和跨任务适应性。

论文标题：MOMENT: A Family of Open Time-series Foundation Models

本文介绍了用于通用时间序列分析的开源基础模型家族MOMENT，针对其预训练面临的缺乏统一数据集、跨数据集训练困难及评估基准不完善等挑战，构建了大规模多样化的Time series Pile数据集，实现跨数据集预训练，并设计专用基准验证模型在有限监督下的性能，实验表明该模型仅需少量数据和微调即可表现优异，相关模型和数据集已开源。

论文标题：Unified Training of Universal Time Series Forecasting Transformers

传统时间序列预测的深度学习通常在 “一数据集一模型” 的框架下运行，这限制了其利用大规模预训练模型变革性影响的潜力。为应对这些挑战，本文对传统时间序列 Transformer 架构进行了创新性改进，提出了基于掩码编码器的通用时间序列预测 Transformer（MOIRAI）。MOIRAI 在新引入的大规模开放时间序列档案（LOTSA）上进行训练，该数据集包含九个领域超过 270 亿条观测数据。作为零样本预测器，MOIRAI 的性能可与全样本模型竞争甚至更优。相关代码、数据和模型权重可在https://github.com/SalesforceAIResearch/uni2ts获取。

论文标题：Chronos: Learning the Language of Time Series

本文提出 Chronos，一个用于预训练概率时间序列模型的简洁而高效的框架。Chronos 通过缩放与量化将时间序列值转换为固定词汇表的标记，并利用交叉熵损失在这些标记化序列上训练现有 Transformer 架构的语言模型。基于 T5 系列（参数规模从 200 万到 7.1 亿）预训练 Chronos 模型，使用大规模公开数据集并结合高斯过程生成的合成数据以增强泛化能力。研究证明，Chronos 模型能利用多领域时间序列数据提升未知预测任务的零样本精度，为简化预测流程提供了可行方案。

论文标题：Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting

本文针对时间序列预测基础模型发展滞后的问题，提出基于解码器Transformer架构的Lag-Llama，通过将滞后值作为协变量并在多领域大规模数据上预训练，其零样本泛化能力优于多种跨领域预测模型，在少量未见数据上微调即可达到state-of-the-art性能，成为当前时间序列预测的领先通用模型并为该领域基础模型发展提供新方向。

论文标题：UniTS: Building a Unified Time Series Model