扩散模型为何能摆脱维度灾难？这篇论文给出了一个很漂亮的理论答案

今日推荐文献 Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions Peng Wang, Huijie Zhang, Zekai Zhang, Siyi Chen, Yi Ma, Qing Qu arXiv:2409.02426v5 关键词：Diffusion Models；Curse of Dimensionality；Mixture of Low-Rank Gaussians；Subspace Clustering；Generalization；Controllable Generation

一句话概括

这篇论文试图回答扩散模型理论中一个非常基础但长期悬而未决的问题：

为什么扩散模型能够用有限样本学习高维图像分布，却没有明显遭遇传统统计学习理论中的“维度灾难”？

作者给出的核心答案是：

扩散模型并不是在无差别地学习整个高维空间中的任意分布，而是在学习真实数据背后的低维几何结构。在低秩高斯混合模型假设下，扩散模型训练可以被解释为一个子空间聚类问题，其样本复杂度主要随数据的内在维度线性增长，而不是随环境维度指数增长。

这是一篇非常值得关注的扩散模型理论论文。它不仅讨论“扩散模型为什么有效”，更进一步把扩散模型的训练过程、泛化能力和可控生成统一到一个低维结构学习的框架中。

01 为什么这篇论文重要？

扩散模型已经成为当前生成式 AI 的核心技术之一。

从 Stable Diffusion、Imagen、Sora 类视频模型，到语音生成、图像编辑、三维生成和分子生成，扩散模型几乎已经成为现代生成模型的基础范式。它的基本思想很直观：先逐步给数据加噪声，把真实样本变成近似高斯噪声；再训练神经网络学习反向去噪过程，从随机噪声中生成新样本。

但是，在理论上，这里面有一个非常尖锐的问题：

高维分布真的可以被有限样本学到吗？

一张图像看似只是一个像素矩阵，但展开之后就是一个非常高维的向量。以 的 RGB 图像为例，其环境维度接近 20 万。按照传统非参数密度估计理论，要在这样高的维度中学习一个任意概率分布，样本数往往会随着维度指数级增长。

这就是著名的 curse of dimensionality，维度灾难。

如果这个最坏情形理论直接适用于扩散模型，那么扩散模型几乎不可能在真实任务中表现良好。但事实恰恰相反：扩散模型不仅能生成高质量图像，还能产生不同于训练样本、具有语义一致性的全新内容。

于是，一个关键问题出现了：

扩散模型究竟是在记忆训练样本，还是在学习真实数据分布？如果它真的能泛化，为什么没有被高维空间的复杂性压垮？

这篇论文的价值就在于，它没有满足于经验解释，而是试图从数学上说明：

扩散模型能够泛化，可能是因为真实数据本身具有低维结构。

02 论文的核心观点：高维只是表象，低维才是本质

这篇论文最重要的思想，是区分两个维度：

自然图像虽然处在高维像素空间中，但它们并不是任意分布的。真实图像受到很多约束：物体形状、光照、姿态、纹理、语义类别、局部平滑性、重复模式以及自然场景规律。

因此，图像数据虽然“嵌入”在高维空间里，却可能主要集中在某些低维流形或低维子空间附近。

这就改变了问题的本质。

扩散模型看起来是在学习高维图像分布，但它真正需要学习的，可能不是整个高维空间，而是数据实际占据的低维结构。

这篇论文正是基于这个洞察，引入了一个可分析的数学模型：

Mixture of Low-Rank Gaussians，低秩高斯混合模型，简称 MoLRG。

03 什么是 MoLRG？为什么它适合分析扩散模型？

MoLRG 可以理解为一种“低维结构化数据分布”的简化模型。

传统高斯混合模型通常假设每个高斯成分都有完整协方差矩阵，数据可以在所有方向上变化。而 MoLRG 假设每个高斯成分的协方差矩阵是低秩的。

也就是说，每个高斯成分并不是占据整个高维空间，而是主要分布在一个低维子空间中。

用更直观的话说：

数据不是散落在整个高维空间里，而是分布在若干个低维“薄片”附近。

每个低维子空间可以理解为某一类局部数据模式。例如，在图像中，不同子空间可能对应不同类别、姿态、纹理模式或语义变化方向。

MoLRG 的优势在于，它同时满足两个要求：

1. 1. 足够接近真实数据的低维结构直觉 真实图像常被认为位于低维流形附近，而低维流形在局部可以近似为线性子空间。
2. 2. 足够简单，便于严格理论分析 高斯模型具有良好的解析性质，尤其适合推导后验均值、score function 和去噪目标。

因此，MoLRG 并不是要完整刻画真实图像分布，而是作为一个理论“显微镜”，帮助我们看清扩散模型学习低维结构的机制。

04 扩散模型训练到底在学什么？

要理解这篇论文，需要先抓住扩散模型训练的核心。

在 score-based diffusion model 中，扩散模型希望学习不同噪声水平下的数据 score function：

它表示在噪声扰动后的分布中，样本应该朝哪个方向移动，才能更接近高概率的数据区域。

但直接学习 score function 并不容易。论文使用 Tweedie’s formula 将 score function 与后验均值联系起来：

也就是说，去噪网络可以被理解为在学习：

给定一个被噪声污染的样本 ，预测它原本干净的样本 。

这就是 denoising autoencoder 的视角。

从这个角度看，扩散模型的训练不只是“学会去噪”，而是在学习数据分布的结构：哪些方向是真实数据变化的方向，哪些方向只是噪声。

这正是低秩结构发挥作用的地方。

如果真实数据主要位于某些低维子空间中，那么最优去噪器需要做的事情就是：

识别数据所属的低维子空间，并把噪声样本投影回相应的数据子空间。

这就是本文最核心的理论突破的直觉来源。

05 第一层理论结果：单个低秩高斯时，扩散训练等价于 PCA

作者首先分析了一个最简单的情形：

数据来自单个低秩高斯分布。

此时，所有数据都位于同一个低维子空间附近。问题就变成：扩散模型能否恢复这个低维子空间？

论文证明，在合适的去噪网络参数化下，扩散模型的训练目标等价于一个经典的 PCA 问题。

PCA 的目标是找到数据方差最大的主方向，也就是恢复数据所在的主要低维子空间。

因此，在单个低秩高斯情形下：

训练扩散模型 ≈ 做 PCA。

这个结论非常重要。

它说明，在一个可分析的简化模型中，扩散模型的去噪训练并不是神秘的黑箱拟合，而是在恢复数据的主子空间结构。

更重要的是，PCA 的样本复杂度不是由环境维度主导，而是由子空间维度主导。只要训练样本数超过子空间的内在维度，模型就有可能稳定恢复这个低维结构。

06 第二层理论结果：多个低秩高斯时，扩散训练等价于子空间聚类

真实数据当然不可能只来自一个低维子空间。

例如，图像数据中可能包含不同类别、不同姿态、不同风格、不同局部结构。一个子空间无法覆盖所有变化。因此，作者进一步研究了低秩高斯混合模型，也就是多个低维子空间的情形。

这时，问题从 PCA 变成了 subspace clustering，子空间聚类。

子空间聚类要解决两个问题：

1. 1. 判断每个样本属于哪个低维子空间；
2. 2. 恢复每个低维子空间的基底方向。

论文证明，在一定假设和网络参数化下，扩散模型的训练目标等价于一个 canonical subspace clustering problem。

这意味着：

扩散模型训练可以被理解为：把高维数据按其低维结构进行聚类，并学习每个子空间的方向。

这个结论把扩散模型与经典无监督学习建立了非常漂亮的联系。

如果单个低秩高斯对应 PCA，那么低秩高斯混合对应子空间聚类。

从这里可以看出，扩散模型的泛化能力并不是凭空出现的，而可能来自对数据低维几何结构的恢复。

07 样本复杂度：真正重要的是内在维度，而不是环境维度

这篇论文最核心的理论结论可以概括为：

在 MoLRG 假设下，扩散模型学习底层分布所需的样本数随数据内在维度线性增长，而不是随环境维度指数增长。

设环境维度为 ，子空间维度为 ，且 。

传统最坏情形理论会告诉我们，学习任意高维分布的样本复杂度可能依赖于 ，甚至呈指数增长。但本文的结果表明，在低秩结构存在时，关键变量变成了 。

更具体地说：

• • 对于单个低秩高斯，当样本数 时，可以恢复底层子空间；
• • 当 时，存在无法正确恢复子空间的情况；
• • 对于多个低秩高斯成分，如果每个成分的样本数 ，则可以恢复各自子空间；
• • 如果某些成分的样本数不足，则对应子空间可能无法被正确学习。

这给出了一个非常清晰的“相变”图景：

当样本数低于内在维度阈值时，模型倾向于失败或记忆；当样本数超过内在维度阈值时，模型开始学习底层分布并产生泛化。

这也是本文题目中 “Breaking the Curse of Dimensionality” 的真正含义。

扩散模型并不是对任意高维分布都能无条件突破维度灾难，而是在真实数据具有低维结构时，它的学习难度可以由内在维度控制。

08 从记忆到泛化：扩散模型中的相变现象

扩散模型是否真正泛化，是生成模型理论中的关键问题。

如果模型只是记住训练集，那么它生成的新样本只是训练数据的变体或复制；如果模型真的学习了底层分布，那么它应该能生成训练集中不存在、但仍符合数据规律的新样本。

本文将这一问题与样本复杂度联系起来。

作者指出，当训练样本不足时，扩散模型可能处于 memorization regime，即记忆训练数据的状态；当训练样本超过某个阈值后，模型进入 generalization regime，能够生成新颖且合理的样本。

更重要的是，这个阈值与数据的内在维度相关。

论文在合成 MoLRG 数据和真实图像数据上都观察到了类似的相变现象：

其中， 是模型开始泛化所需的最小训练样本数， 是数据内在维度， 是常数。

这说明，扩散模型的泛化不是一个模糊的经验现象，而可能具有清晰的几何基础：

泛化出现的前提，是训练样本足以覆盖数据分布的有效自由度。

这对理解大模型训练也很有启发。数据规模重要，但更重要的是数据是否覆盖了真实分布中的关键变化方向。

09 子空间基底为什么可能对应语义方向？

这篇论文还有一个非常有意思的实践发现：

扩散模型学到的低维子空间基底，可能与图像中的语义属性方向相对应。

作者分析了预训练扩散模型中去噪网络的 Jacobian，并研究其奇异向量。实验发现，某些 leading singular vectors 可以作为语义编辑方向。

沿这些方向扰动中间噪声状态，可以控制生成图像中的属性变化，例如：

• • 性别特征；
• • 发型；
• • 颜色；
• • 面部视觉属性。

相比之下，沿随机方向扰动几乎不会产生明显、稳定、可解释的语义变化。

这个发现非常重要。

它说明扩散模型内部的低维结构并不只是数学上的抽象子空间，而可能对应真实图像中的语义变化坐标。

换句话说：

扩散模型不是简单地把像素拟合出来，而是在某种程度上组织了数据的语义方向。

这为训练后图像编辑、可控生成和无监督语义发现提供了理论基础。

10 这篇论文与已有扩散模型理论有什么不同？

近年来，扩散模型理论研究主要集中在几个方向：

1. 1. 采样收敛性 研究反向扩散过程能否从噪声分布收敛到目标分布。
2. 2. score approximation 研究神经网络能否准确近似 score function。
3. 3. memorization 与 generalization 研究扩散模型是在记忆训练样本，还是学习底层分布。
4. 4. Gaussian mixture 分析 用高斯混合模型分析扩散模型的采样或训练行为。

本文的独特之处在于，它不是研究任意分布，也不是只研究全秩高斯或各向同性高斯混合，而是把重点放在 低秩协方差结构 上。

这一步非常关键。

因为低秩性直接对应数据的低维结构，而低维结构正是突破维度灾难的核心。

因此，本文的贡献不只是“又分析了一个高斯模型”，而是把问题从“学习高维密度”转化为“恢复低维子空间结构”。

这种问题重写非常有启发性。

11 论文的主要贡献总结

可以将这篇论文的贡献概括为四点。

1. 提出 MoLRG 作为分析扩散模型低维分布学习的理论模型

作者用低秩高斯混合模型刻画图像数据的低维结构，使得真实数据的“低维流形假设”可以进入可证明的数学框架。

2. 证明扩散模型训练与 PCA / 子空间聚类之间的等价关系

在单个低秩高斯情形下，扩散模型训练等价于 PCA；在多个低秩高斯成分情形下，扩散模型训练等价于子空间聚类。

这一点为理解扩散模型训练提供了一个非常清晰的几何解释。

3. 证明样本复杂度随内在维度线性增长

作者证明，在合适假设下，扩散模型学习底层 MoLRG 分布所需的最小样本数主要由内在维度决定，而不是由环境维度决定。

这为扩散模型为何能逃离维度灾难提供了理论解释。

4. 将理论与真实图像泛化和可控生成联系起来

论文不仅进行了合成数据实验，也在真实图像数据上观察到泛化相变；此外，还发现低维子空间基底与语义 task vectors 之间存在对应关系，为可控生成提供了理论启发。

12 这篇论文的思想精髓：扩散模型是一种低维结构学习器

如果用一句更抽象的话来概括这篇论文的思想，那就是：

扩散模型的成功，可能并不来自对整个高维空间的暴力拟合，而来自对真实数据低维结构的有效恢复。

这句话有三个层次。

第一，真实数据不是任意高维分布，而是具有结构。 第二，这种结构可以用低维子空间或低维流形近似。 第三，扩散模型的去噪训练可能隐式地恢复这些低维结构。

因此，扩散模型并不是“魔法般地战胜高维性”，而是利用了真实世界数据分布的几何规律。

这也解释了为什么扩散模型在自然图像上非常成功，但在结构更稀疏、约束更复杂、数据更少的领域中仍然面临挑战。

13 对 AI 药物设计和分子生成有什么启发？

虽然本文主要讨论图像数据，但它对 AI 药物设计同样有启发。

分子数据也是高维、离散、稀疏且强约束的。无论是分子图、三维构象、蛋白口袋，还是蛋白—配体复合物，都不是任意分布在高维空间中，而是受到一系列物理化学约束：

• • 化学价键规则；
• • 原子类型与成键模式；
• • 构象能量面；
• • 扭转角自由度；
• • 药效团空间排列；
• • 蛋白口袋形状与电性；
• • 合成可及性；
• • ADMET 与活性约束。

因此，分子生成模型真正需要学习的，也可能不是整个组合爆炸式化学空间，而是其中可合成、可稳定、可结合、可优化的低维有效结构。

从本文视角看，可以提出几个很有价值的问题：

1. 分子扩散模型是否也在学习低维化学结构？

分子图空间看似巨大，但药物样分子受到类药性、合成路径和骨架模式约束。有效药物化学空间可能具有局部低维结构。

2. 三维构象生成是否由少数关键自由度控制？

分子的三维构象虽然复杂，但很多变化集中在可旋转键、环系构象和局部柔性区域。扩散模型是否主要学习这些低维构象自由度？

3. 蛋白—配体结合是否存在低维相互作用流形？

蛋白—配体结合涉及氢键、疏水作用、π–π 堆积、盐桥、金属配位等相互作用模式。不同配体可能共享相似的结合模式子空间。

4. 可控分子生成中的性质方向是否类似图像语义方向？

在图像中，扩散模型的某些方向可以控制发型、颜色、性别等属性。那么在分子生成中，是否存在对应于 logP、极性、构象刚性、结合模式或选择性的“性质方向”？

5. 数据规模与泛化能力是否也由内在维度决定？

小分子活性数据往往非常有限。如果分子任务的内在维度较低，扩散模型可能仍然可以泛化；但如果任务涉及复杂靶点诱导契合、多构象结合或稀疏活性岛，样本复杂度可能会显著升高。

这些问题都值得进一步研究。

从这个角度看，本文不仅是一篇图像扩散模型理论论文，也为分子扩散模型和 AI 药物设计提供了一种重要的理论思路：

与其盲目扩大生成空间，不如理解模型究竟学到了哪些低维结构，以及这些结构是否与真实化学和生物物理规律一致。

14 这篇论文的局限性

这篇论文非常有启发性，但也需要理性看待它的边界。

1. MoLRG 是理想化模型

真实图像分布并不严格服从低秩高斯混合。MoLRG 更像是一种局部线性近似，用于捕捉低维流形的基本性质。

因此，本文理论不能直接等同于对真实大规模扩散模型的完整解释。

2. 子空间正交假设较强

为了理论可解，论文中假设不同子空间之间具有较好的分离性，甚至在部分分析中要求相互正交。真实数据中的语义流形往往是重叠、弯曲和纠缠的。

3. 网络参数化仍然简化

实际扩散模型通常使用 U-Net、Transformer 或 DiT 等高度非线性、过参数化架构。本文为了建立理论等价关系，使用了更简化的去噪网络参数化。

这使得理论结果具有解释价值，但与实际模型之间仍存在距离。

4. 真实图像实验仍是支持性证据

论文在真实图像数据上观察到泛化相变和语义方向，但这些实验更多是对理论直觉的支持，而不是严格证明真实扩散模型完全按照 MoLRG 机制工作。

总结

这篇论文为扩散模型提出了一个更深层的解释：

扩散模型之所以能够在高维数据上泛化，可能是因为真实数据具有低维结构，而扩散模型训练过程能够隐式恢复这些结构。

在 MoLRG 假设下，作者证明扩散模型训练与 PCA / 子空间聚类之间存在等价关系，并进一步说明其样本复杂度主要由内在维度控制。这为扩散模型逃离维度灾难提供了一个清晰的理论图景。

当然，这一理论仍然建立在理想化假设之上，距离完整解释真实大规模扩散模型还有很长的路。但它的重要性恰恰在于：它把一个高度经验化的现象，转化成了一个可以分析、可以证明、可以扩展的数学问题。

对于今天的生成式 AI 研究来说，这类理论工作非常重要。

因为真正深刻的理解，往往不是告诉我们模型“能做什么”，而是告诉我们模型“为什么能做到”，以及“在什么条件下才能做到”。