Hammerspace公司表示,IO500测试结果显示其标准Linux加NFS系统软件能够实现高性能计算级别的性能,而无需专有并行文件系统的复杂性。
IO500基准测试对为超级计算机和其他高性能计算系统提供数据的存储系统性能进行排名,其10节点生产环境测试限制系统只能为10个客户端提供服务。Hammerspace表示,这是首次有完全基于标准的架构——标准Linux、上游NFSv4.2客户端和商用NVMe闪存——实现了传统上只有专有并行文件系统才能达到的10节点生产环境完全可重现的IO500结果。在IO500的SC25 10节点生产环境测试结果中共有33个系统,这是有史以来最快的NFS结果,使Hammerspace在排名中位列第18位。
Hammerspace首席技术官兼Linux NFS客户端内核维护者Trond Myklebust表示:"这个IO500结果改写了人们对基于标准的Linux和NFS能力的长期假设。使用Hammerspace并行全局文件系统,通过上游Linux、pNFS和NVMe硬件实现领先的10节点生产环境得分,证明了高性能计算级别的性能不再需要专有客户端或专用文件系统。这一成就对Linux性能社区来说是一个重要时刻。"
Hammerspace表示,其数据平台软件系统在十个DSX节点上运行,并使用了三星PM1753 NVMe固态硬盘。它"将所有DSX节点的存储统一为单一共享文件系统,客户端使用并行NFS(pNFS)v4.2和灵活文件布局进行挂载。"
总体得分为85.23,带宽为74.66 GBps,计算IOPS kIOPS测量值为97.29,使其"与Lustre、DAOS和WEKA等传统高性能计算文件系统架构并肩,但无需专用网络、专有客户端和专用硬件。"
该公司表示,连接到存储系统的10台客户端机器使用标准Linux NFS客户端;不需要专有的前端客户端软件。
Hammerspace此前曾在ISC25上提交了IO500测试,但表现不如与三星合作的最新提交。
该公司表示:"Hammerspace设计并向上游贡献的最新Linux内核增强功能是改善得分的原因,Hammerspace代码的重大改进也起到了作用。"
提交系统配置的差异,如三星固态硬盘,也产生了影响。kIOPS数字的下降是由于在三星的生产配置中使用了冗余Anvil元数据服务器。而在之前面向研究的提交中只有一个这样的服务器。
Hammerspace声称,"通过正确的架构,标准协议可以实现AI训练、RAG管道、智能体工作流程和经典高性能计算模拟所需的低延迟、大规模并行和全局可扩展性。"这些标准协议是NFS v4.1和pNFS。
这意味着它可以达到与DDN的EXAScaler(Lustre)、其他Lustre系统、WEKA、Spectrum Scale和VAST Data等并行文件系统相同的高性能计算级别性能,并且无需供应商锁定或昂贵的硬件和复杂的软件。这使其在高性能计算级别的AI训练和推理工作负载方面具有良好的定位。
Q&A
Q1:Hammerspace在IO500测试中取得了什么成绩?
A:Hammerspace在IO500的10节点生产环境测试中排名第18位,这是有史以来最快的NFS结果。总体得分为85.23,带宽为74.66 GBps,计算IOPS为97.29 kIOPS。
Q2:Hammerspace的技术优势是什么?
A:Hammerspace使用标准Linux、上游NFSv4.2客户端和商用NVMe闪存等标准架构,无需专有客户端或专用文件系统,就能实现与传统高性能计算文件系统相同的性能,避免了供应商锁定和昂贵的硬件成本。
Q3:这项技术可以应用在哪些场景?
A:该技术可以应用于AI训练、RAG管道、智能体工作流程和经典高性能计算模拟等场景,能够提供这些应用所需的低延迟、大规模并行和全局可扩展性。