


Q:在哪里可以找到DGX Spark的性能优化指南和教程?
A: NVIDIA 最近在 GitHub 上发布了详细的性能指南,可以在 build.nvidia.com/spark 页面找到链接。该指南提供了如何使用不同框架(Lama CBP、VLM、HDLang、TRT LLM)对 LLM 和 VLM 模型进行基准测试的详细说明,还包括扩散模型的性能测试方法。此外,build.nvidia.com/spark 上还有各种 playbooks,涵盖了许多有趣的主题和技术。
Q:所有build.nvidia.com/blueprints上的蓝图都可以在DGX Spark上运行吗?
A: 目前列出的所有 playbooks 都是 NVIDIA 工程师专门验证过的。由于所有内容都运行在相同的 CUDA AI 栈上,理论上其他蓝图也应该可以工作,但可能会遇到一些小问题需要解决。如果遇到问题,可以在论坛上发帖,团队会进行调查。
Q:在哪里可以找到Spark专用的Docker容器?
A: 可以在 NGC 仓库找到所有的 PyTorch、VLLM、TensorRT 和 SGLAN 容器。此外,build.nvidia.com/spark 上发布的 playbooks 也会指向 Spark 专用容器。
Q:什么是NVFP4?它与其他格式有什么不同?
A: NVFP4 是 Blackwell 架构专门支持的原生精度格式。它采用特殊的量化方式,将 BF-16 转换为 NVFP4。相比上一代支持的 FP8(从 BF-16 到 MXFP8),现在有两种基本格式:NVFP4 和 MXFP4。
主要优势:
Q:可以使用NVFP4将400GB的模型量化到100GB吗?
A: 从 16 位到 4 位模型不会精确地得到四分之一的大小,会有一些开销,但会很接近。
Q: DGX Spark支持CUDA 13.1和CU-Tile吗?
A: 支持。最新的 CUDA 容器包含 CUDA 13.1,可以在 Spark 上运行并使用 CU-Tile。从 25.0.12 版本开始支持 CUDA 13。虽然主机 OS 上的 GPU 驱动和 CUDA 工具包版本更新较慢(为了保证核心平台稳定性),但最新版本的容器是获取最新 CUDA 的最佳方式。
Q: Spark支持ARM架构的PyTorch和VLM吗?
A: 完全支持。VLM 可以通过容器或直接使用 wheels 安装,也可以从源代码构建。最新的 PyTorch 2.10 wheels 已包含对 Spark 的 CUDA 13.0 支持。
Q:在哪里可以购买DGX Spark?
A: 现在可以在很多地方购买 Spark。有 7-10 家合作伙伴提供 Spark 和 GB10 系统,包括 Dell、HP、Lenovo、Asus、Acer 等。可以在线购买或从零售店购买,NVIDIA 官网主要用于启动销售,主要销售由合作伙伴负责。
Q: NVIDIA DGX Spark什么时候在印度上市?
A: 即将推出。印度有一个 AI 峰会即将举行,届时会有相关的公关和新闻发布,会讨论 Spark 在印度的可用性。请关注未来几周的消息。
Q: DGX Spark会提供给学校使用吗?
A: 绝对会。很多学校已经在使用 Spark。NVIDIA 即将发布一篇博客文章,介绍使用 Spark 的大学和机构。许多大学正在逐步采用 DGX Spark 作为研究实验室的计算节点,也有很多围绕它举办的黑客马拉松。
对于学校环境的支持:
Q:我们有两个实验室,每个有35台运行Windows 11的计算机,建议每个实验室配置一台Spark吗?
A: 这取决于运行的工作负载以及是否可以在 DGX OS(Linux)上运行。如果只是运行推理工作负载,可以将 DGX Spark 用作推理服务器。但 Spark 不仅限于推理,还可以进行微调,并利用提供的 CUDA AI 栈进行各种开发。它是一个原型设备,适合任何想要学习、构建、研究和利用 CUDA 的人。
Q: DGX Spark与AMD Halo的主要区别是什么?
A: 主要区别包括:
Q: DGX Spark和Jetson Thor如何互补?
A: 这是两个非常互补的平台:
Q:同时拥有DGX Spark和RTX Pro Blackwell 6000有什么好处?
A: 主要区别在于内存:
应用场景:
Q:对于普通消费者,DGX Spark相比RTX 5090或6000 Pro的主要优势是什么?
A: 这些 GPU 都运行在相同的 CUDA 栈上,选择取决于工作负载和所需的 VRAM:
Q:可以在单个Spark上量化超过128GB的模型吗?
A: 可以使用实时量化方法。团队成功在 Spark 上使用 Sloth 对 180B 参数模型进行微调,方法是加载模型时实时量化为 int4。ModelOpt 也支持实时量化功能。
Q:可以在Spark上进行CUDA编程吗?
A: 完全可以。Spark 是进行 CUDA 开发的优秀平台。在 CSU 展示的工具中,包括使用 Insight 的 CUDA Code Copilot 预览版。
Q:什么时候会有更大的Nematron模型能更好地利用双Spark集群?
A: Nematron 3 模型即将推出,正在专注于双 Spark 支持,确保在两个 Spark 上能运行大量工作负载和工作流。请关注 GDC 2026 的消息。
Piyush的分享:
Cam的分享:
其他有趣案例:
更多关于DGX Spark
NVIDIA 发布 DGX Spark 性能基准测试指南,赋能多节点 AI 高效部署