NVIDIA双雄对决：DGX Spark与Jetson Thor，谁才是大语言模型开发的“性能王者”？

图片

随着NVIDIA DGX Spark与NVIDIA Jetson Thor两款设备的推出，开发者在处理复杂AI模型，尤其是大型语言模型（LLM）时，面临了新的选择。这两款设备均配备了高达128GB的统一系统内存，为处理大规模数据集和复杂模型提供了坚实的硬件基础。然而，在价格上，DGX Spark以3999美金的定价略高于Jetson Thor的3499美金。那么，对于需要处理大语言模型的开发者而言，究竟该如何在这两款设备中做出选择呢？本文将从芯片制程、功耗、架构设计、内存带宽以及缓存一致性等五个关键信号出发，对这两款设备的性能进行深入分析，以期为开发者提供有价值的参考。

考量一：芯片制程与晶体管数量

芯片制程是决定其性能与功耗的关键因素之一。Jetson Thor采用了台积电的4纳米制程，而DGX Spark中的GB10芯片则使用了更为先进的3纳米制程。这种制程上的差异直接影响了晶体管的数量与密度。

• Jetson Thor：4纳米制程意味着在相同面积的芯片上，可以集成相对较少的晶体管。尽管如此，Jetson Thor依然通过优化设计，在有限的晶体管数量下实现了高效的AI计算。其GPU部分相比前代产品增加了约25%的CUDA核心和50%的Tensor核心，这在一定程度上弥补了制程上的不足。
• DGX Spark（GB10）：3纳米制程使得GB10在相同面积下能够集成25%至30%更多的晶体管。这不仅提升了芯片的运算能力，还优化了功耗表现。更多的晶体管意味着可以在更小的空间内实现更复杂的电路设计，从而提升整体性能。

结论：从晶体管数量与制程的角度来看，DGX Spark的GB10芯片在理论上具有更高的性能潜力，尤其是在处理复杂AI任务时，能够提供更强大的计算支持。

考量二：功耗与能效比

功耗是衡量设备能效的重要指标，对于需要长时间运行或依赖电池供电的边缘设备尤为重要。

• Jetson Thor：其系统级芯片（SoC）额定功耗为120瓦。这一功耗水平在边缘计算设备中属于中等偏上，但考虑到其强大的AI计算能力，这一功耗是合理的。Jetson Thor通过优化架构设计，在保证性能的同时，有效控制了功耗。
• DGX Spark（GB10）：GB10 SoC的功耗为140瓦，略高于Jetson Thor。然而，由于其采用了更先进的3纳米制程，GB10在相同功耗下能够实现更高的性能输出，或者在相同性能下实现更低的功耗。这种能效比的提升，使得DGX Spark在处理高强度AI任务时更具优势。

结论：虽然DGX Spark的功耗略高，但其更先进的制程技术使得其在能效比上占据优势。对于需要长时间运行或依赖电池供电的场景，DGX Spark可能通过优化算法和任务调度来进一步降低实际功耗。

考量三：架构设计与计算组件

架构设计是决定设备性能的关键因素之一，尤其是对于AI计算这类高度并行的任务。

• Jetson Thor：其架构设计侧重于安全性和能效比，采用了为汽车级应用优化的CPU架构。GPU部分增加了CUDA核心和Tensor核心的数量，以提升AI计算能力。此外，Jetson Thor还集成了第三代可编程视觉加速器（PVA）、双编码器和解码器等硬件加速器，以支持复杂的视觉和传感器处理任务。
• DGX Spark（GB10）：GB10在架构设计上更加注重高性能计算。其CPU部分采用了高性能核心与高效能核心的异构设计，以兼顾单线程性能和多线程任务。GPU部分则配备了超过Jetson Thor两倍的计算组件，包括更多的CUDA核心和Tensor核心，以提供更强大的AI计算能力。 

结论：从架构设计的角度来看，DGX Spark的GB10芯片在高性能计算方面更具优势，尤其是在处理大规模AI模型时，能够提供更快的计算速度和更高的吞吐量。而Jetson Thor则通过优化架构设计和集成多种硬件加速器，在能效比和特定任务处理上表现出色。

考量四：内存带宽与服务质量

内存带宽是影响设备性能的重要因素之一，尤其是在处理大规模数据集或高强度AI任务时。

• Jetson Thor：其内存带宽为273GB/s，虽然这一数字在理论上已经足够高，但在实际测试中，由于服务质量（QoS）策略的限制，CPU和GPU在同时访问内存时可能会出现带宽争用的情况。Jetson Thor的QoS策略更侧重于可预测的延迟和效率，这在某些场景下可能限制了内存带宽的有效利用。
• DGX Spark（GB10）：同样具备273GB/s的内存带宽，但GB10通过优化内存控制器和QoS策略，实现了更高的内存访问效率。特别是在CPU和GPU同时访问内存时，GB10能够更好地平衡两者的带宽需求，避免带宽争用导致的性能下降。

结论：在内存带宽方面，两款设备在理论上具有相同的性能。然而，DGX Spark通过优化内存控制器和QoS策略，在实际应用中可能表现出更高的内存访问效率和更稳定的性能。

考量五：缓存一致性与数据传输效率

缓存一致性是提升设备性能的关键因素之一，尤其是在需要频繁在CPU和GPU之间传输数据的场景中。

• Jetson Thor：虽然Jetson Thor实现了全缓存一致性，但其CPU无法直接访问GPU的L2缓存。这意味着在CPU和GPU之间传输数据时，可能需要通过主存进行中转，从而增加了数据传输的延迟和开销。
• DGX Spark（GB10）：GB10实现了CPU直接访问GPU L2缓存的功能，将其作为L4缓存使用。这种设计极大地提升了数据传输效率，尤其是在需要频繁在CPU和GPU之间传输小量数据和控制信号的场景中。 

结论：在缓存一致性方面，DGX Spark的GB10芯片具有明显优势。其CPU直接访问GPU L2缓存的设计，使得数据传输更加高效和快速，从而提升了整体性能。

综合结论

从芯片制程、功耗、架构设计、内存带宽以及缓存一致性等五个关键信号来看，DGX Spark在处理大型语言模型时可能表现出更高的速度和效率。其更先进的制程技术、优化的架构设计、高效的内存访问以及缓存一致性设计，都为其在处理高强度AI任务时提供了强大的支持。然而，Jetson Thor凭借其针对边缘计算优化的架构设计和能效比，在特定场景下（如需要长时间运行或依赖电池供电的边缘设备）依然具有竞争力。因此，在选择设备时，需要根据具体的应用场景和需求进行综合考虑。