时序论文39 | 频域MLP在时间序列预测中更为有效

论文标题：Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

论文链接：https://arxiv.org/abs/2311.06184

代码链接：https://github.com/aikunyi/FreTS

研究背景

这篇文章要解决的问题是如何在时间序列预测中更有效地利用多层感知器（MLPs）。但是，MLPs依赖于点对点映射，难以捕捉时间序列的全局依赖性；此外，MLPs在处理时间序列的局部动态时容易出现信息瓶颈，影响预测性能。

如上图所示，通过探索了在频域中应用MLP进行时间序列预测，发现频域有两个固有的特性有利于预测，（i）全局全视图：频谱使得多层感知器（MLPs）能够全面理解信号，并更容易地学习全局依赖性；以及（ii）能量压缩：频域MLPs专注于频率成分中较小的关键部分，其信号能量紧凑。

并据此提出了FreTS，通过域转换将时域信号转换为频域的复数；通过频率学习来建模频率成分的实部和虚部。

FreTS模型

上图是FreTS的模型架构图，可以发现核心就是两部分：频域通道学习和频域时间学习。频率通道学习专注于使用在通道维度上操作的频域多层感知器（MLPs）来建模序列间依赖性；频率时间学习通过对时间维度执行频域MLPs来捕捉时间依赖性。

01 频率域转换

首先，将时域信号通过离散傅里叶变换（DFT）转换为频率域谱，得到包含实部和虚部的复数频谱。公式如下：

其中，f是频率变量，v 是积分变量，j是虚数单位。

02 频率域转换

这部分公式很多但并不难理解，看图就行，其中：频域通道学习是不同channel之间通信，通过对L个时间戳共享相同的权重来学习时间戳之间的信道依赖性。频率时间学习旨在学习频域中的时间模式；它也是基于对每个通道执行的频域多层感知器构建的，并在N个通道之间共享权重。

本文实验

数据集：实验在13个真实世界的基准数据集上进行，包括7个短期预测数据集（如Solar、Wiki、Traffic等）和6个长期预测数据集（如Weather、Exchange、Traffic等）。并与13种最先进的模型进行对比，包括短期预测的VAR, SFM；以及长期预测的Informer、Autoformer, Reformer, FEDformer, LTSF-Linear, PatchTST等。

短期预测：在6个数据集上的实验结果表明，FreTS在MAE和RMSE上均优于所有基线模型。平均而言，FreTS在MAE 上提高了9.4%，在RMSE上提高了11.6%。

长期预测：在6个数据集上的实验结果表明，FreTS在所有数据集上均优于所有基线模型。与基于Transformer的模型相比，在MAE和RMSE上平均分别减少了20%以上。

总结

篇论文提出了一种新的频率域MLPs架构，用于时间序列预测。通过重新设计频率域MLPS，能够有效捕捉时间序列的全局依赖性和能量压缩特性。实验结果表明，FreTS在短期和长期预测任务中均表现出色，具有高效性和鲁棒性。该研究为未来在时间序列建模中应用MLPs提供了新的思路和基础。