去繁就简：如何看待这场正在兴起的云原生超级计算风暴

算力竞争宛如一场无休止的军备竞赛，始于1993年，由国际TOP500组织发布的全球超级计算机500强是这场竞争的风向标。而在2022年公布的全球超级计算机500强榜单中，我们可以看到这样一组数字：有72%的TOP500超算中采用了NVIDIA GPU或网络，世界上最强的前十个超算系统中有5个采用了NVIDIA InfiniBand网络，另外在前100强中超过63%的超算采用了NVIDIA InfiniBand网络。在TOP500中有67%的超算采用了NVIDIA InfiniBand和以太网解决方案。

InfiniBand为云原生超级计算提供了网络支持，而方兴未艾的DPU将和InfiniBand一起掀起一场云原生超级计算风暴。TOP500中的这些数字表明这场风暴已经来临， NVIDIA 网络亚太区高级总监宋庆春和NVIDIA 网络技术专家崔岩近日联手为我们解析了这场风暴。

缘起

数据中心在当下正面临着一个严峻的挑战，这就是由于人工智能、科学计算等应用的发展，现代应用程序持续产生海量的数据，这对数据中心的性能和处理能力提出了巨大的挑战，但单个数据中心所能提供的算力却是有限的。并且，能够处理海量数据的大规模数据中心，按传统的方式只能供给少数人享用。供需的矛盾使得大规模数据中心走上了云化之路，但这又带来了另一个问题。

云原生让很多应用程序都变成了以分布式微服务的方式给用户提供相应的服务，所以这些程序可能并不是运行在数据中心的某一台服务器上，而可能是运行在多台服务器上，这就让数据中心的服务器不可避免地面临多任务的并行，而当超级计算机被云化之后，还要面临更为复杂的多租户运行。AI、科学计算等项目需要强大的算力支撑，而在多任务、多租户的条件下，用户很难获得在独享所有计算和存储资源时的性能。

NVIDIA 网络亚太区高级总监 宋庆春

云原生超级计算针对的正是这个问题，NVIDIA 网络亚太区高级总监宋庆春介绍说：“云原生超级计算的主要目标，就是要让数据中心支持多任务时，或者当业务上云时，用户同样可以获得如独享所有计算和存储资源时一样的性能。”

云原生超级计算的风潮已经兴起，那么，做为后来者，要跟进这场云原生超级计算风潮，要从什么地方开始呢?

云原生超级计算风暴的本质

云原生超级计算将高性能计算的强大性能与云计算服务的安全性和易用性融于一体。在NVIDIA云原生超级计算平台中，包含了NVIDIA BlueField DPU、InfiniBand、NVIDIA DOCA和Magnum IO。其中最关键的是 NVIDIA BlueField DPU (数据处理器) 架构和高速、低延迟的 NVIDIA Quantum InfiniBand 网络，它们为裸机性能、用户管理和隔离、数据保护和按需高性能计算 (HPC)和 AI服务打下了基础。

宋庆春解释了DPU的工作原理：“数据中心的典型架构是用CPU处理应用，由GPU对应用进行加速，通过网络搭建起一个大规模的数据中心。但这其中存在一个很大的问题，就是CPU在跑业务应用之外，还要去处理存储和安全等方面的工作，让CPU无法把全部性能用于业务应用。而在NVIDIA提出的云原生超级计算架构中，DPU在帮CPU卸载基础设施操作、存储和通信框架，提供额外算力之外，还可用于对业务应用进行负载均衡。原来有的工作占用资源不合理，造成的短板效应影响了整个系统性能的发挥，现在可以通过DPU来优化和同步不同工作之间的资源分配，或者通过DPU来实现实现计算和通讯的异步操作及计算和存储的异步操作。这样一来，不同的工作之间就消除了干扰，系统的整体性能就上升了。”

DPU的落地，实现的不仅是应用之间的隔离和租户之间的隔离，对于多租户多应用的场景而言，还率先实现了租户应用和应用之间性能的隔离，同时还支持超级计算机的安全与编排，建立起零信认架构。如此一来，理想的裸机性能就有了实现的保障。

数据中心内的服务器依靠网络实现连接，而云原生依赖的微服务带来了更多东西流量，因此网络性能不仅影响着系统的整体性能，还会因为微服务程序之间会产生相应的数据流交互激增，而让跨服务器或数据中心内部的横向攻击威胁增加。而NVIDIA Quantum-2 InfiniBand 平台可以主动地监控网络流量和并执行增强的拥塞管理机制，实现了流量隔离，几乎完全消除性能抖动，确保可预测的性能，就像应用程序在专用系统上运行一样。因此，InfiniBand 网络完全可以称得上是云原生超级计算的另一根支柱。

NVIDIA Quantum InfiniBand 网络可加速并卸载数据传输，确保不会因数据或带宽限制而使计算资源“挨饿”。NVIDIA Quantum InfiniBand 网络可以在不同的用户或租户之间进行分区，提供安全性和服务质量 (QoS) 保证。目前BlueField-3 DPU已经可以支持400GB的带宽。在NVIDIA与微软打造的全球最强大的 AI 超级计算机中，Azure同样在其平台上添加了NVIDIA Quantum-2 400Gb/s InfiniBand 网络。

宋庆春介绍说：“目前用户需要一个高性能网络满足业务性能，云原生超级计算架构提供了一个异构网络的方式优化性能，让性能达到极致，同时优化整个数据中心的设计。最终实现以最小的硬件达到最优的性能，这样就会产生节能减排的效果。”

云原生超级计算离不开更多网络创新成果的支撑，在交换机上，NVIDIA利用SHARP网络计算已经助力ALLreduce通信带宽突破了网络极限。在其它方面，更多创新成果带来的不间断网络、自动修复网络等应用场景也已经变成了现实。显然，InfiniBand已经托起了用户急需的这个高性能异构网络。

宋庆春强调了应用云原生超级计算时网络搭建中的问题：“随着网络速度越来越高，数据中心地规模也越来越大，网络出问题的机会也越来越多。线缆作为连接数据中心里各个部件地关键部件之一，成为了影响系统稳定性地最大因素，而当线缆出现问题时，最终还需要从网卡、交换机厂方面来发现和解决这些问题，而且在数据中心中更换线路要远比更换网卡和交换机要复杂地多，因为线缆往往部署在地下或者是屋顶。因此为了规避这样的问题，我们建议采用NVIDIA端到端的解决方案确保整个系统的可靠性。”

DOCA的生态支撑

云原生超级计算平台需要一个软硬件一体的解决方案，因此软件的作用同样不能忽视。其中，NVIDIA MAGNUM IO软件开发套件 (SDK) 使开发者能够优化应用程序中的输入/输出 (IO)，从而减少其工作流程中的端到端时间。NVIDIA DOCA SDK 使基础设施开发者能够利用行业标准 API，在 NVIDIA BlueField DPU 上快速创建网络、存储、安全、管理以及 AI 和 HPC 等各种应用程序和服务。

借助 DOCA，开发者可以通过创建高性能、软件定义和云原生 DPU 加速的服务，对未来的超级计算基础设施进行编程。因此，决定这场云原生超级计算风暴能走多远的因素，最终还是要看 DOCA在技术人员中的普及程度。

为了普及DOCA，DOCA社区被建立起来，其中来自国内的注册者占据了整个DOCA社区的半壁江山。NVIDIA DPU 中国黑客松更是DOCA生态成长的集中体现。

NVIDIA 网络技术专家 崔岩

NVIDIA 网络技术专家崔岩介绍了近期举办的2022 秋季 NVIDIA DPU 中国黑客松的情况：“DPU 中国黑客松训练营吸引了超过3500人参加，最终确定了27支注册团队，从中产生了13支参赛团队。此外，本届和上届在题目上有一点区别，由于NVIDIA BlueField DPU和NVIDIA DOCA在云原生超级计算架构里面成了关键组成部分，所以我们让参赛的团队围绕使用NVIDIA BlueField DPU和NVIDIA DOCA实现RDMA加速存储与AI的解决方案。”

DPU中国黑客松是开发者学习、实践使用NVIDIA DOCA软件开发套件的一个良机，可以让开发者基于NVIDIA BlueField DPU去做数据中心应用程序的开发，在开发过程中展现开发者的奇思妙想、创新精神和团队气质。

谈起 DOCA的人才培养，崔岩表示：“通过DPU中国黑客松的竞赛，我们为整个行业培养了更多DPU和DOCA方面的开发人才，我们希望有更多开发者参与进来，同时也希望DPU中国黑客松比赛和其它活动能促进开发者做更多开发。”

而有了软、硬件的协同发展，这场云原生超级计算的风潮接下来显然将刮得更加猛烈。