DeepSpeed v0.19.0 重大更新：训练稳定性、ZeRO、FPQuantizer、DeepCompile、Sequence Parallelism 全面增强，20 位贡献者带来 28 次提交

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

如果你正在关注 DeepSpeed 的最新版本，那么 v0.19.0 绝对值得重点解读。 这次更新覆盖范围非常广，从 版本号更新、Transpose 重构、进程组关闭卡死修复、ZeRO 相关修复、CPU offload 梯度问题修复、DeepCompile 兼容性修复、PyTorch 版本选择、FPQuantizer 构建修复、动态 offload、NVTX 域支持，一直到 Sequence Parallelism 对多模态模型的支持，几乎把训练框架中多个关键链路都进行了强化。

从变更列表来看，这一版共有：

• • 20 位贡献者
• • 28 次提交
• • 72 个文件变更

一、DeepSpeed v0.19.0 的整体特点

DeepSpeed v0.19.0 的核心关键词可以概括为：

1. 1. 稳定性提升
2. 2. ZeRO 相关问题修复
3. 3. CPU offload 场景优化
4. 4. DeepCompile 兼容性增强
5. 5. 量化与构建链路修复
6. 6. 序列并行与多模态支持扩展
7. 7. 测试与 CI 体系完善
8. 8. 优化器与学习率调度器修正

换句话说，这不是一次单点修补式更新，而是一次覆盖训练系统多个层面的系统性升级。 对于已经在使用 DeepSpeed 的用户来说，这一版最值得关注的并不是“新增了多少炫酷特性”，而是 大量影响训练正确性、训练稳定性、构建可用性和兼容性的修复。

二、版本更新与发布准备相关内容

这次版本发布首先包含了版本号和发布文件的更新：

• • 更新最新发布后的版本号（v0.18.9）
• • 在 0.19.0 发布前更新 version.txt

这类提交虽然看起来简单，但它们标志着 DeepSpeed 正式进入 v0.19.0 发布周期，也说明本次版本的基础构建与发布流程已经完成闭环。

三、Transpose 重构：统一处理逻辑

本次更新中有一项非常值得注意的重构内容：

• • Refactor consolidate transpose

这意味着项目内部对于 transpose 的处理逻辑做了整合。 从工程角度看，这类重构通常是为了减少重复实现、统一数据流转换逻辑，提升后续维护性，并为后续相关优化打基础。

对于框架类项目而言，transpose 的一致性和性能都非常重要，因此这项重构属于底层质量提升。

四、进程组关闭卡死问题修复

更新中提到：

• • 修复进程组关闭时卡死的问题

这是分布式训练里非常关键的一个问题。 在多进程、多卡、甚至多节点训练过程中，进程组的退出流程如果不正确，就可能导致训练结束时挂住，影响整个任务清理。 这次修复直接针对 process-group shutdown 环节的 hang 问题，说明 DeepSpeed 在训练生命周期的收尾阶段稳定性进一步增强。

对于长时间运行的大规模训练任务来说，这类问题极其敏感，修复价值很高。

五、Zero3 defragment utility：新增碎片整理工具

本次还加入了：

• • Zero3 defragment utility

这项更新说明 ZeRO-3 相关场景增加了 defragment 工具，用于处理碎片整理问题。 在大模型训练中，显存管理与参数切分非常复杂，碎片化可能影响内存利用效率，甚至影响训练稳定性。 这项 utility 的加入，意味着 ZeRO-3 在资源整理和内存管理方面更完善。

六、Sequence Parallelism：从允许名单变为拒绝名单

更新中有一项明确写到：

• • [SP] add SP deny list instead of allow

这表示 Sequence Parallelism 相关逻辑从“允许名单”机制调整为“拒绝名单”机制。 这种机制变化通常意味着适配范围更灵活，或默认行为更合理，能够减少某些模型或结构在序列并行应用时出现的不兼容问题。

这一点非常重要，因为后面还出现了：

• • Sequence Parallelism 支持多模态模型（ViT + LLM）

这说明 SP 体系在本版中确实得到持续完善，不再局限于单一模型形态。

七、Zero 相关修复：多个关键训练正确性问题被解决

本次更新里，ZeRO 相关修复非常密集，覆盖了多个子场景。

1. 修复 flat buffer detach，避免 autograd inplace 错误

更新中提到：

• • 修复 zero 相关 flat buffer detach 问题，防止在 checkpoint 场景中出现 autograd inplace error

这意味着在 checkpoint 相关路径下，flat buffer 的处理方式可能会触发 autograd 的 inplace 错误，因此通过 detach 来规避。 这类修复对训练正确性非常关键，因为一旦 autograd 出错，训练过程就会直接中断。

2. 修复 ZeRO-1 / ZeRO-2 CPU-offloaded gradient norm 问题

更新中明确提到：

• • 修复 ZeRO-1 和 ZeRO-2 在 CPU offload 场景下的 gradient norm 问题

梯度范数计算是训练优化里非常核心的部分，尤其是在做梯度裁剪时。 如果 CPU offload 场景下的 gradient norm 有问题，那么训练数值稳定性和收敛行为都可能受到影响。 这一修复说明 DeepSpeed 对 ZeRO-1/2 的 offload 训练链路做了更严谨的处理。

3. 修复 overlap-comm buffer 生命周期

更新中提到：

• • 修复 overlap-comm buffer lifetimes

通信与计算重叠是分布式训练中的重要优化，但 buffer 生命周期一旦处理不好，就可能出现数据覆盖、悬挂引用或同步异常。 这一修复说明 overlap-comm 路径在资源管理上更加可靠。

4. 修复 ZeRO-1/2 CPU-offloaded gradient loss：支持多次 backward() per step

更新中提到：

• • 修复 ZeRO-1/2 CPU-offloaded gradient loss with multiple backward() per step

也就是说，在一个 step 中多次执行 backward() 时，CPU offload 场景下可能会出现梯度丢失。 这类问题非常隐蔽，但对实际训练会产生严重影响。 修复之后，多次 backward() 的训练流程会更稳定。

5. 修复 BF16_Optimizer 在 ZeRO-1 下最后一个 microbatch 的梯度泄漏

更新中提到：

• • 修复 BF16_Optimizer 在 ZeRO-1 下 last-microbatch grad leak

这是一个非常具体但很关键的问题。 最后一个 microbatch 的梯度如果发生泄漏，训练结果可能出现不一致，甚至影响收敛。 此次修复说明 BF16 优化器与 ZeRO-1 的组合场景被更严谨地处理了。

6. 修复 Adam subgroup 不一致

更新中提到：

• • 修复 Adam subgroup inconsistency

Adam 优化器在 subgroup 处理上出现不一致，会影响优化器状态管理。 这次修复意味着优化器行为更加统一。

八、DeepCompile 相关修复：适配 PyTorch 2.9 / 2.10

本次更新对 DeepCompile 做了非常明确的修复：

• • 修复 DeepCompile + Z3 在 PyTorch v2.9 / v2.10 上的问题
• • 修复 backward graph recompilation due to unbalanced forward/backward visits

第一项说明 DeepCompile 与 Z3 在较新的 PyTorch 版本中存在兼容性问题，现在已处理。 第二项说明在前向/反向访问不平衡时，可能导致 backward graph 重新编译，这会影响性能和稳定性。

这两项修复对使用 DeepCompile 的用户来说非常重要，意味着框架在新 PyTorch 版本上的适配性更好了。

九、FPQuantizer：构建修复与底层警告修复

本次更新中，FPQuantizer 相关修复也占据了重要位置。

1. 修复 FPQuantizer build

更新中提到：

• • 修复 FPQuantizer 构建问题

说明之前该模块在构建流程中存在障碍，现在已解决。

2. 修复 fp_quantize_impl.cu 中的 UB 和负移位警告

更新中提到：

• • 修复 fp_quantize_impl.cu 中的 UB 和 negative shift warnings

这类问题属于底层实现中的潜在隐患。 虽然从表面看可能只是警告，但 UB 和负移位相关问题会影响代码质量，甚至可能在某些编译环境下引发异常行为。 这次修复提升了量化模块的安全性和可维护性。

3. 重命名 dequantization 模板参数

更新中提到：

• • Rename dequantization template parameters

这是对模板参数命名的一次整理，通常是为了提升代码可读性与一致性，也能避免潜在歧义。

十、op_builder 修复：避免重复或错误的 gencode flags

更新中提到：

• • 修复 op_builder，避免重复或错误的 -gencode flags

这对 CUDA 扩展构建非常重要。 如果 gencode flags 重复或错误，可能导致编译配置不正确，影响不同 GPU 架构的适配。 这次修复说明构建系统在 CUDA 编译参数管理上更稳健了。

十一、CI 与测试体系增强

本次更新对 CI 和测试流程也做了不少修复。

1. 修复 autotp universal checkpoint CI

更新中提到：

• • 修复 autotp universal checkpoint CI

说明相关 CI 测试链路中存在问题，已被修复。

2. 避免 CUDA reinit 错误

更新中提到：

• • 避免 CI 测试中的 CUDA reinit error

这类错误通常会导致测试环境不稳定，尤其在多轮测试中更容易出现。 此次修复能帮助 CI 更可靠地运行。

3. 支持 PyTorch 版本选择进行 full test

更新中提到：

• • 启用 PyTorch version selection for full test

这意味着完整测试可以选择不同 PyTorch 版本进行验证，增强了测试覆盖能力，也有助于验证兼容性。

4. 修复 modal ci timeout

更新中提到：

• • 修复 modal CI timeout

说明某些 CI 测试任务存在超时问题，现在已优化。

十二、动态 offload 与静态 optimizer offload 的兼容

更新中提到：

• • Dynamic offload compatible with static optimizer offload

这意味着动态 offload 与静态优化器 offload 现在可以兼容。 对于使用 offload 的用户来说，这种兼容性改进很重要，因为它能提升配置组合的灵活性，减少冲突。

十三、WarmupCosineLR 多组初始化修复

更新中提到：

• • 修复 WarmupCosineLR multi-group initialization

说明 WarmupCosineLR 在多组参数初始化时存在问题。 学习率调度器如果初始化不正确，会直接影响训练过程中的 lr 变化曲线。 这次修复确保多组初始化更准确。

十四、Muon 优化器新增 Gram Newton-Schulz 正交化

更新中提到：

• • 为 Muon optimizer 添加 Gram Newton-Schulz orthogonalization

这是本版较为显眼的一项功能增强。 它为 Muon 优化器增加了 Gram Newton-Schulz 正交化能力，属于优化器方向的新增支持。 这意味着 Muon 优化器的训练行为又多了一种可用的正交化处理方式。

十五、NVTX 域支持新增

更新中提到：

• • Add DeepSpeed NVTX domain support

这项更新说明 DeepSpeed 增加了 NVTX 域支持。 对需要做性能分析和训练剖析的用户来说，这意味着标注、分析和 profiling 的能力更完善。

十六、Sequence Parallelism 对多模态模型的支持

本次版本中最值得关注的能力扩展之一是：

• • [AutoSP] Sequence Parallelism 支持多模态模型（ViT + LLM）

这说明 DeepSpeed 在序列并行方向进一步扩展到了多模态模型，覆盖 ViT + LLM 场景。 这不是简单的兼容性补丁，而是明确的能力扩展，意味着 SP 的适用范围更广。

十七、topkgating 重大 bug 修复

更新中提到：

• • 修复 topkgating major bug

这是一个明确标注为重大 bug 的修复项。 虽然没有进一步展开细节，但从“major bug”这一描述可以看出它的重要程度。 这类修复通常会直接影响某些模型或 gating 逻辑的正确运行。

十八、其它重要修复项汇总

除了上面重点内容，v0.19.0 还包含如下修复和改动：

• • Fix process hang in process-group shutdown
• • Fix Zero3 defragment utility
• • Fix overlap-comm buffer lifetimes
• • Fix DeepCompile+Z3 on PyTorch v2.9/2.10
• • Avoid CUDA reinit error in CI tests
• • Fix Adam subgroup inconsistency
• • Dynamic offload compatible with static optimizer offload
• • Fix modal ci timeout
• • Add DeepSpeed NVTX domain support

这些内容共同组成了本次版本升级的重要稳定性基础。

十九、v0.19.0 的版本价值总结

如果把这次更新归纳成一句话，那就是：

DeepSpeed v0.19.0 是一次以稳定性、兼容性和训练正确性为核心的大版本更新。

它重点解决了以下几类问题：

• • 训练中断和卡死
• • ZeRO 相关梯度与 offload 问题
• • DeepCompile 与新 PyTorch 版本兼容问题
• • FPQuantizer 构建与底层实现问题
• • 调度器和优化器行为不一致问题
• • CI 与测试链路不稳定问题
• • Sequence Parallelism 在多模态模型上的适配问题
• • 性能分析与 profiling 能力增强

这意味着对于正在使用 DeepSpeed 的用户来说，本版不仅值得关注，而且很适合纳入升级计划。

二十、结语

代码地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.19.0 的更新内容非常密集，而且每一项都很有针对性。 从提交列表可以看出，这一版并不是单纯增加“新特性”，而是围绕整个训练框架进行了系统性修复和增强。