双一区力证！Transformer彻底打破时序预测的传统边界！

时间序列

在时间序列分析领域，Transformer 正以惊人的速度打破 NLP 的边界。其独特的注意力机制与序列建模能力，完美契合时序数据的动态特性，促使学术界与产业界掀起研究热潮：工业界早有 TFT 等经典模型落地实践，学术界更将其作为论文创新的 “黄金赛道”。

当前，这一领域的研究已跨越架构优化的初级阶段，向通用化、多模态融合的纵深方向发展。为助力科研与工程实践，本文精选12篇Transformer+时间序列前沿论文，附有开源代码，为探索时序分析的创新路径提供权威参考。

免费领取12篇最新论文+创新点

多尺度建模

DeformableTST: Transformer for Time Series Forecasting without Over-reliance on Patching

图片

【要点】：论文提出了DeformableTST模型，通过引入可变形注意力机制，减少对时间序列数据中分块技术的依赖，从而在更广泛的任务中取得先进性能。

【方法】：作者通过分析分块技术与全注意力机制之间的关系，提出了一种新的稀疏注意力机制——可变形注意力，并采用分层结构以解决去除分块技术后带来的效率问题。

【实验】：在多个时间序列预测任务中测试了DeformableTST模型，模型在特别是那些不适合分块技术的预测任务中表现出了优异的性能。

多变量与复杂时序建模

TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series

图片

【要点】：TACTiS-2模型通过引入简化目标和训练计划，实现了多变量概率时间序列预测的更好、更快、更简单的效果。

【方法】：基于copula理论，针对transformer-based attentional copulas模型，优化目标简化，通过引入训练计划改变了原有架构。

【实验】：在多个真实世界的预测任务中，TACTiS-2模型具有显著更好的训练动态和最先进的性能，同时保持了对未对齐和不均匀采样时间序列的灵活处理能力。

自监督与预训练

TimeDART: A Diffusion Autoregressive Transformer Framework for Self-Supervised Time Series Learning

图片

【要点】：本文提出了TimeDART模型，一种基于自监督学习的时间序列预测方法，利用Transformer编码器捕捉序列依赖性，并通过扩散和去噪机制以及自回归训练来有效学习时间序列数据的全局和局部特征。

【方法】：TimeDART模型使用基于自注意力的Transformer编码器来建模不同时间序列片段间的依赖性，同时引入了扩散和去噪机制来学习同一片段内的局部细节特征，并设计了一种基于交叉注意力的去噪解码器以调整自监督任务的优化难度。

【实验】：在多个公开数据集上进行的实验表明，TimeDART模型在时间序列预测任务上实现了优于现有先进方法的微调性能。

扩散模型与生成式方法

TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model

图片

【要点】：本文提出了TimeDiT，一种基于扩散过程的通用时间序列基础模型，能够有效处理真实世界时间序列数据的多样性和挑战，同时允许无缝集成外部知识。

【方法】：TimeDiT采用Transformer架构捕捉时间依赖性，并结合扩散过程生成高质量样本，通过创新的遮蔽机制和通道对齐策略，不依赖于目标分布的严格假设。

【实验】：在多种任务（如预测、插补和异常检测）上进行的广泛实验，证明了TimeDiT的有效性，实验使用了包括时间序列数据在内的多个数据集。