基于Diffusion的扩散LLM，大语言模型不只有预测下一个Token

传统的大语言模型（Large Language Model, LLM）通常基于 Transformer 架构，其生成方式是自回归的。这意味着每一个生成的 Token 都依赖于之前生成的所有 Token。这种逐步生成的方式虽然有效，但在生成速度和纠错能力上有一定的限制。

相比之下，扩散模型（Diffusion Model）是一种由粗到细的生成方式，类似于 Stable Diffusion 在图像生成中的应用。扩散语言模型（Diffusion LLM, dLLM）将这种方法应用于文本生成，其生成过程不再严格依赖于前一个 Token，允许更多的灵活性和纠错能力。

dLLM 代码生成

最近 Inception Lab 发布的 Mercury 是首个商用级别的 Diffusion LLM，它充分利用了扩散模型的优点。具体来说，Mercury 在 NVIDIA H100 硬件上每秒可以生成多达 1000 个 Token，显著提高了生成速度。此外，它的推理和纠错能力也很强，能够在生成过程中纠正错误。资源占用也相对较小，使其可以在笔记本和手机等设备上运行。

在 Copilot Arena 上进行基准测试时，Mercury Coder Mini 并列第二，超过了速度优化模型（如 GPT-4o Mini 和 Gemini-1.5-Flash）的性能，甚至超过了 GPT-4o 等更大的模型。同时，它也是最快的模型，比 GPT-4o Mini 快约 4 倍。

开源 dLLM

LLaDA（Large Language Diffusion with mAsking）是首个开源的 Diffusion LLM，只有 8B 参数所以能力一般，相当于 GPT-3 的水平。不过不能否认的是：dLLM 从大纲到细节的生成方式，确实很像是人类的思考模式。

LLaDA 是一个基于掩码扩散机制的模型，它采用标准的预训练和 SFT 流程，但在生成文本时使用扩散采样方法，所以也表现出与传统大模型从左到右完全不同的文本生成方法。

具体来说：

1. 在预训练阶段，模型会随机对输入文本中的所有词符进行掩码处理。

2. 在 SFT 阶段，只对需要生成的回复部分进行掩码。

3. 整个生成过程是一个从完全掩码到完全去掩码的渐进过程。

4. 在每个步骤中，模型能够同时预测所有被掩码的位置，并且可以灵活地重新进行掩码。

简单来说，LLaDA 通过逐步去掩码的方式来生成文本，这个过程类似于从模糊到清晰的扩散过程，而且模型可以在每一步同时处理多个掩码位置。

并且 LLaDA 展现出了优异的可扩展性，在使用相同数据集的情况下，其整体性能表现与自回归基准模型不相上下。

LLaDA 在线体验：huggingface.co/spaces/multimodalart/LLaDA

开源地址：github.com/ML-GSAI/LLaDA

总结

找到了 LLaDA 团队成员在知乎的一篇文章，提到了他们选择坚持 LLaDA 研究的原因包括：扩散模型在视觉领域已趋于成熟，语言领域具有重要研究价值，且从概率建模角度看待，自回归并非通往语言智能的唯一途径。

他们认为大语言模型的理论基础包含两点：最大似然估计(KL 散度最小化)和自回归模型的定义。

大语言模型的诸多优秀特性源于生成式建模，而非自回归特有，但语言模型的某些局限确实源自自回归建模。具体而言：

1. 可扩展性主要来自 Transformer 架构、模型与数据规模以及生成式原则的相互作用。

2. 指令跟随和上下文学习是条件生成模型的普遍特性。

3. 任何表达能力足够的概率模型都能实现类似自回归模型的数据压缩能力。

并且自回归模型也面临更多挑战，如逐词生成带来的计算成本和单向建模的局限性。基于这些考虑，研究团队认为扩散模型提供了一条值得探索的研究路径。

从简单测试的结果来看，目前 LLaDA 还没展现出实用价值，但我觉得该研究为语言模型发展提供了新的思路和可能性，特别是这种从模糊到清晰，从大纲到细节的生成方式，和人类大脑的思考模式太像了。

dLLM 想要完全改变当前自回归模型主导的格局仍面临挑战，更可能是作为一种互补技术共同发展。