IJCAI 2025 | NPDiff: 让扩散模型掌握时序数据里的先验知识

论文标题： Unveiling the Power of Noise Priors: Enhancing Diffusion Models for Mobile Traffic Prediction

作者：Zhi Sheng，Daisy Yuan，Jingtao Ding，Qi Yan，Xi Zheng，Yue Sun，Yong Li

机构：清华大学

论文链接：https://arxiv.org/abs/2501.13794

代码链接：https://github.com/tsinghua-fib-lab/NPDiff

关键词：扩散模型、噪声先验、移动流量预测

点击文末阅读原文跳转本文arXiv链接

引言

清华大学城市科学与计算研究中心提出了一种全新的扩散建模框架——NPDiff，重新审视扩散模型中的噪声在时间序列建模中的作用。该研究从噪声在扩散过程中的影响出发，创新性地指出：噪声是塑造预测结果极为关键的驱动，其在时序动态中展现出与移动流量数据清晰而一致的规律。NPDiff 框架通过引入“噪声先验”，能够与多种扩散预测模型灵活融合，以更高效、稳健的方式生成高质量的预测结果。大量实验证明，该方法在多个真实数据集上相较现有方法实现了超过 30% 的性能提升，为扩散模型在时间序列预测领域的应用提供了全新的研究视角和实践路径。

图1：现有基于扩散的预测框架与本文噪声先验框架的比较

图1：现有基于扩散的预测框架与本文噪声先验框架的比较

扩散噪声的时序特性分析

图2：MobileNJ数据集上的噪声可视化

图2：MobileNJ数据集上的噪声可视化

文章通过可视化扩散过程中模型预测的噪声图，深入分析了噪声所呈现出的规律。如图2所示，菱形点表示模型估计的噪声，背景散点则代表参考高斯噪声。图2(a) 显示，在特定时间点，不同扩散步长下的噪声分布具有高度连续性，整体趋势接近线性变化，同时呈现出沿时间维度逆时针旋转的演化趋势。同时在图2(b) 中，作者观察到：相隔一周的同一时间点，其噪声图几乎完全重合，展现出显著的周期性特征。这一周期性规律与移动流量数据的内在动态高度一致，进一步验证了噪声与时序数据之间存在紧密的关联。这些发现强调了噪声在扩散过程中不应被忽略的关键作用，并为扩散模型在该领域的应用提供了新视角。

方法

图3 NPDiff

图3 NPDiff

基于上述发现，作者提出了 NPDiff 框架，将移动流量数据中的时序动态特征作为噪声先验（Noise Prior）引入扩散模型，直接建模了流量数据的动态变化规律。文章的框架如图3所示，图3(a) 展示了两类关键数据动态的提取过程：周期性动态与局部动态；图3(b) 则展示了结合噪声先验的去噪过程。噪声的估计由两条路径完成：(1) 基于数据动态直接计算噪声先验；(2) 利用去噪网络预测残差噪声。

数据动态特征提取： 图3(a) 展示了两类关键动态特征的提取过程：

• 周期动态（Periodic Dynamics）：通过傅里叶变换获取时间序列的周期性模式，反映人类活动的长期节律。

• 局部动态（Local Dynamics）：基于滞后一阶特征，捕捉短期内的突变和局部扰动。

噪声先验的推导： 提取到周期性和临近性动态后，首先假设它们与相应的真实值非常接近，并将移动流量数据重构为：

其中表示一个小的残差项，它表示了目标值和提取的动态特征之间的差异。然后将前向加噪公式变形后重写为：

这里的噪声便是在训练过程中模型需要预测的噪声，随后将公式 带入公式 ，可以得到：

于是可以将噪声先验定义为：

模型需要预测的目标噪声可以被重写为：

其中的为去噪网络需要去估计的残差噪声。

噪声先验融合： 考虑到从数据中提取的动态先验代表着数据的常规模式，在面对不规则变化的情况时可能不总是足够准确，所以仍然需要去噪网络来估计残差噪声。最终的预测噪声被定义为噪声先验与去噪网络预测的噪声的加权组合：

实验评估

文章在四个真实世界的移动流量数据集上开展了大量实证研究，涵盖多种预测任务与设置。实验结果显示，在不同实验设定下，NPDiff 框架相较于多个基线模型，平均预测误差降低超过 25%，展现出显著性能优势。此外，作者进一步采用三种具有代表性的去噪网络—— CSDI（基于Transformer）、STID（基于MLP）、ConvLSTM（基于时序卷积）——来验证方法的通用性。结果表明，NPDiff 能够无缝集成于多种网络结构中，不仅提升预测精度，还显著加快训练收敛速度，增强模型在异常扰动下的鲁棒性。

结语：

扩散过程中噪声先验的详细解释

扩散过程中噪声先验的详细解释

在本项工作中，研究者深入揭示并强调了噪声在扩散过程中的关键作用，提出了 NPDiff 框架——一种面向扩散模型的通用噪声先验建模方法，系统性地探索并利用扩散噪声在时序数据预测中的潜在价值。相比传统扩散模型，NPDiff 在预测精度、训练效率、模型鲁棒性及不确定性控制等多个关键维度上均取得了显著提升。该框架为实际场景中的移动流量预测与资源调度提供了一种更高效、更稳定、具备落地能力的解决方案，展现出突出的技术潜力与广阔的应用前景。