OLinear：正交变换域中的时间序列预测线性模型

图片

论文标题：OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain

论文链接：https://arxiv.org/pdf/2505.08550

研究背景

今年北大的一篇文章，文章先总结了传统时序预测的痛点与突破方向，首先传统时序预测模型（如 Transformer）依赖时域直接编码解码，难以有效处理序列内部的复杂时间依赖关系。例如，时间序列的逐步相关性会导致模型表达能力受限，而傅里叶、小波等固定变换方法缺乏数据集自适应能力，无法充分利用数据特定的统计特征。

其次，是多元依赖建模的挑战。现有方法在处理多元时间序列时，自注意力机制计算复杂度高（如 O (N²D)），且存在低秩问题（Softmax 导致值集中），影响模型对多元相关性的捕捉效率。

研究思路

本文提出 OLinear，一种在正交变换域中运行的线性多元时间序列预测模型。当前主流预测模型多采用时域预测（TF）范式，直接在时域内对序列进行编码解码，但序列数据中纠缠的时序依赖关系会显著限制 TF 的性能。部分研究尝试通过傅里叶、小波等固定基变换在频域或小波域中处理序列，但这类方法缺乏数据集自适应能力，无法充分利用数据特有的统计特征。

图片

 一、总体架构设计  

OLinear采用简洁高效的架构：先通过RevIN层消除非平稳性，再经维度扩展模块增强表达能力，随后利用正交矩阵Q_i将时域序列投影到去相关的变换域，通过线性层编码后，由交叉序列学习者（CSL）和内部序列学习者（ISL）分别捕捉多元依赖和时序动态，最终经正交矩阵Q_o反变换并解码得到预测结果。

二、OrthoTrans正交变换机制  

OrthoTrans通过计算训练数据的时间皮尔逊相关矩阵，经特征分解得到正交矩阵Q_i和Q_o，将序列投影到去相关的特征域，使变换后向量的协方差矩阵对角化，有效消除时序依赖。该变换具备数据自适应特性，能提升注意力矩阵秩，增强模型表示多样性，且作为插件可集成到现有模型中，实验表明其能显著提升预测性能，尤其在抑制噪声和能量集中方面效果显著。

三、NormLin表示学习与模块优势  

为高效建模多元依赖，设计NormLin线性层，通过Softplus函数和行L1归一化约束权重矩阵，使其具备非负性和行和为1的特性，模拟自注意力权重分布。NormLin模块计算复杂度仅为多头自注意力的一半，却能通过更高秩的权重矩阵和更优的梯度传播效率提升预测精度。CSL和ISL分别采用NormLin和MLP结构，前者捕捉多元相关性，后者处理时序动态，二者协同作用使OLinear在保持高效率的同时实现先进性能。

实验结果

在 24 个基准数据集、140 项任务中，OLinear 在精度精度优势方面，MSE 较 SOTA 模型平均降低 12.7%，尤其在高维多元数据中表现突出；在效率提升方面，训练时间减少 60%~80%，内存占用降低 50% 以上；在鲁棒性方面，在数据稀疏（5% 训练数据）和时间偏移场景中保持稳定性能。

图片

图片

图片