适用于现代HPC场景的数据存储与数据流动

概述

高性能计算 (HPC) 的场景、应用程序和工作流模式正在迅速发展。HPC 的使用范围已从政府和学术界扩展到工业界。HPC系统现在负责处理异构工作负载，包括实时和事件触发的用例。用户、数据和计算能力在地理上分散。数据必须在所有阶段（从模拟和建模到可视化、分析和归档）都具有移动性、可搜索性和可共享性。将人工智能和机器学习(AI/ML) 集成到工作流中正在实现新的功能和见解。容器化和自动化使工作负载具有可移植性和可突发性。

HPC领域的这些变化正在推动对数据存储和数据移动性的挑战要求。Hammerspace通过将高性能全局并行文件系统与数据编排功能相结合以形成独特的全局数据环境来解决这些挑战。

《NERSC国家能源研究科学计算中心工作流示例》

来源：https://www.nersc.gov/assets/NERSC-10/Workflows-Archetypes-White-Paper-v1.0.pdf

Hammerspace解决方案

传统HPC环境具有来自不同供应商的多个存储孤岛，如：并行文件系统提供高性能临时存储，横向扩展NAS处理作业前和作业后工作流程，云存储用于云突发和协作，长期存档存储在对象存储或磁带上。管理数据访问和保护需要为每个孤岛提供单独的工具，而协调孤岛之间的数据流又涉及另一方面软件。数据经常从一个文件系统复制到另一个文件系统，浪费时间和存储容量。

《传统HPC存储环境-未使用Hammerspace前》

Hammerspace创建了一个全局数据环境，通过以下关键方式简化HPC数据管理：

• 整合多个存储孤岛、数据中心和云
• 跨异构存储、数据中心和云使数据服务标准化
• 使用基于目标的策略自动进行数据编排
• 使用基于pNFS的超大规模NAS创建高性能并行文件系统

《使用Hammerspace的HPC存储环境》

Hammerspace方案优势

具有不受供应商锁定的并行文件系统性能

• 使用来自任何供应商或混合供应商的存储服务器创建用于临时处理和预处理/后处理的高性能并行文件系统
• 使用标准Linux pNFS替换专有文件系统
• 启用RDMA和GPUDirect存储以实现最佳性能

全局文件系统涵盖存储技术、站点和云

• 提供对所有数据的访问，无论其位于何处
• 使用云存储进行协作或将工作负载转移到云计算
• 减少管理负担，留出更多时间进行研究

控制数据放置以满足工作流程要求

• 提取现有数据 - 无需漫长的数据迁移过程
• 根据策略目标自动放置和重新定位数据
• 分配自定义元数据以进行组织和自动化

存储孤岛整合

传统HPC场景中会整合来自多个供应商的文件系统，每个文件系统都有各自的特殊属性。例如，下图描绘了Lawrence Berkeley NERSC使用文件系统的“简化”视图。图中显示了来自四个不同供应商的五种不同的文件系统，以适应不同的场景。

《Lawrence Berkeley NERSC的HPC文件系统》

上述这些场景都可由单个Hammerspace实例提供服务。仍可实现多个NFS共享和多个存储子系统环境，且所有这些都在Hammerspace全局数据环境中，这会减少系统管理点并增加有价值的附加功能。

供应商进行存储整合的典型方法是提供一个新的、更好的、更大的孤岛来替换多个现有孤岛。这迫使数据迁移工作耗时长且风险高，因为必须每隔几年将现有文件复制到新存储中。在HPC环境中，这种类型的物理存储整合不起作用。不用担心迁移PB级数据的痛苦——没有一个存储系统可以同时满足每个HPC存储层的性能、规模和成本要求。

Hammerspace不是进行物理整合，而是在逻辑上整合存储孤岛。通过称为同化的过程，所有这些都被纳入一个单一的保护伞下。同化将所有文件系统元数据导入Hammerspace，而数据仍保留在现有存储中。

与典型的PB级数据迁移（可能需要数月甚至数年）相比，同化仅需数天甚至数小时。例如，该用户的40PB同化在两天内就完成了。更令人印象深刻的是，同化结合了后台和按需方法，以最大限度地减少中断。一旦开始同化作业，就可以从Hammerspace访问所有数据，就好像同化已经完成一样。

Hammerspace的逻辑整合承认了多种存储类型的必要性，同时提供了物理存储整合的许多好处。多站点全局命名空间和对云存储的支持等附加功能通过消除对单一用途网关产品的需求来提供附加价值。

可以在Hammerspace中创建多个导出或共享，但它们是抽象的，可以跨越多个存储系统。可以随时添加额外容量，并将数据迁移到较新的存储作为后台编排任务。存储系统会受其产品生命周期不断变化，但用户和应用程序看到的内容（导出和共享）不会受到影响，从而保持连续性和用户生产力。

由于Hammerspace将文件系统分解并提升到存储之上，因此快照和克隆、审计、版本控制和数据放置等数据服务在所有站点的所有存储中以统一的方式实现。

拥有一套统一的工具来管理异构存储系统之间的数据保护和安全，可以减轻管理负担。这在学术和科学环境中尤其有益，可以留出更多时间进行研究活动。它还减少错误配置而被忽视的机会，降低了数据丢失的可能性。

下图列举了 Hammerspace 提供的全局数据服务。

《Hammerspace架构图》

自动数据编排

Hammerspace并行全局文件系统可以涵盖从闪存到磁带、从NAS到对象和云的存储技术。从高性能暂存到存档的所有层都是同一数据环境的一部分。这使研究人员能够专注于数据的需求，而不是存储系统的维护和供给。

一旦数据处于Hammerspace控制之下，就可以使用自动数据编排对其进行迁移、复制、分层、保护和智能放置。可配置的策略目标可以无中断地完成这些任务。用户和应用程序始终可以访问文件，即便它们处于移动状态，也可以使迁移和数据放置活动透明化。

文件和目录可以用自定义元数据标记，无论数据位于何处，它都会在整个全局数据环境中跟踪数据。标准和自定义元数据都可用于驱动目标和工作流自动化、根据项目或研究人员跟踪文件和目录或其他用途。

Hammerspace的内置数据编排消除了需要另购数据移动软件、存档系统和云存储网关等单独工具的需求。

超大规模NAS架构

专用的HPC并行文件系统（例如Lustre®和IBM Storage Scale™（以前称为GPFS™））通过将元数据与数据分离来提供高性能和可扩展性，这使客户端计算机能够直接与存储系统交互，但需要安装私有客户端才能做到这一点。

Hammerspace使用具有Flex Files布局类型的并行NFS (pNFS) 来实现相同的架构，并仅使用Linux内置的标准NFS客户端即可获得相同的性能和可扩展性优势。这种超大规模NAS架构实现了线性扩展的并行吞吐量，仅受可用的存储和网络硬件的限制。

超大规模NAS的开放性也扩展到NFS服务器，允许使用支持NFSv3的任何存储系统创建并行文件系统，包括运行标准Linux的白牌或OCP服务器。

虽然RDMA不是使用超大规模NAS架构实现高性能所必需的，但均可支持，两者都使用InfiniBand和RoCEv2。基于Hammerspace的Hyperscale NAS架构也通过了NVIDIA GPUDirect Storage认证，可在需要GPU的工作流程中实现最快的性能。