挣脱存储枷锁，释放文件系统，将HPC性能与企业NAS易用性融为一体发挥最大价值

数据孤岛正在阻碍您的业务‍‍‍‍‍‍

人工智能发展迫使存储行业进行迟来的反思，需要彻底改变数据使用和存储方式。利用数据驱动的组织正受到以存储为中心的基础设施的阻碍，该基础设施将有价值的非结构化数据困在存储孤岛中......

将数据视为服务，通过抽象底层存储基础设施，提供按需数据访问，无论数据位于何处（本地、云端或混合环境）。

图1 - 以数据为中心架构

业界从一个单系统NAS发展到纵向扩展NAS，再到横向扩展NAS，这些技术的可扩展性有限。您可以很好地扩展容量，但它们的性能扩展只能在几十个节点以内。如今，我们需要让基于文件的存储或NAS具有更大的可扩展性。如我们了解的云和对象存储那样。这似乎承认文件存储无法达到云或对象存储的规模，接着你会引入S3对象存储，以尝试获得扩展非结构化数据的能力。但这是一种逃避，你放弃了拥有真正文件系统的所有好处。所以业界长期以来一直需要一个更好的文件存储并带有高度可扩展性。扩展容量相对容易。我们在这里谈论的是扩展性能，而不仅仅是带宽和IOPS，还有非常低的延迟。这些都是很难扩展的东西。通常，NAS架构的扩展可以扩展到十几个或二十几个节点，当再次增加节点实际上不带来任何额外的性能。

高性能HPC文件系统与企业级NAS

为什么不直接使用业界存在已久的并行文件系统，如Lustre和IBM GPFS（Spectrum Scale）？事实上，这些文件系统的存在意味着传统NAS未能解决足够的性能和可扩展性问题。 Lustre或IBM GPFS等文件系统，或者是一些更不成熟和更新的东西，比如Weka，这些文件系统存在的原因是因为传统NAS协议无法实现真正的线性性能扩展。它们用于HPC环境中应用程序性能至关重要的地方。您不希望这些系统闲置等待数据。可这是一种权衡，必须通过花费时间和精力来部署和管理这些奇特的文件系统，以节省应用程序运行时间并更好地利用硬件。事实上，这是两个不同的世界，HPC环境中奇特的并行文件系统世界和传统NAS以及横向扩展NAS世界，两者永远不会相遇。也从来没有什么东西能真正将两者特性结合在一起。

直到Hyperscale NAS架构的出现

Hyperscale NAS采用了并行文件系统的架构。把HPC架构带入基于标准的NFS世界。真正使创建Hyperscale NAS成为可能的事实是Linux赢得了操作系统之战，在数据中心，从性能和可扩展性的角度来看，它是唯一重要的操作系统。那么，为什么在这里很重要？因为要构建这些高性能超级计算机级并行文件系统，需要更智能的客户端。客户端堆栈是这些奇特文件系统（Lustre，GPFS，Weka）的致命弱点。您必须安装该客户端并对其进行维护。它深入内核，因此可能会损害内核的稳定性，支持性等等。所以您需要一个更智能的客户端来卸载数据路由任务。而Linux现在已经赢得了操作系统之战，这意味着我们可以进行这项投资。作为NAS，我们不仅需要支持传统的NFS以及这种高性能并行文件系统，还需要支持SMB以及整个功能集和丰富的企业NAS世界，我们做到了，Hyperscale NAS做到了。Hammerspace之所以能够做到这一点，要感谢我们的CTO是Linux客户端的作者，他担任NFS客户端的内核维护者（Kernel Maintainer）长达20 年之久。该代码大部分都是他的，这使我们能够增强客户端标准，以便Linux内置的现成常规NFS能够实现这种更为复杂的功能。而这种功能让我们能够做的基本上就是消除整个网关节点层。

（Hyperscale NAS架构）

2017年发布Linux 7.4以来就包含了对NFSv4.2的支持，2019年8月，随着RHEL 7.7和其他标准Linux发⾏版引入带有Flex Files的pNFS v4.2

（Linux已是世界上部署量最多的服务器操作系统，包括：麒麟，欧拉，TencentOS， Alibaba Cloud Linux等等）

横向扩展NAS具有网关节点，它们可在存储节点之间重新分配数据。因此，在 Isilon中，在前端节点和后端存储节点中，他们很早就开始使用Infiniband（IB网络），试图让前端节点和后端节点之间的内部网络足够快。而VAST这种新兴供应商，他们正在使用NVME over Fabrics。而结构就像是Isilon里的IB。这实际上掩盖了还是有两层转发的事实，还保留前端转发和后端转发的原因是因为他们没有足够复杂的客户端。

使用并行NFS（pNFS），使用Hyperscale NAS，客户端可以将数据直接路由到后端存储。您不需要中间层，这样就省去了2/3的网络，因为您不必在网关节点的路线上产生数据转发。因此，性能和可扩展性存在根本差异，成本结构也存在根本差异。值得强调的是，无论需求是100TB还是100PB的客户，都将从Hyperscale NAS中获得好处，因为架构设计为线性可扩展，弹性伸缩。

减少文件操作交互次数实现性能提升

（更详细分析请查阅文章：为什么pNFS现在比以往任何时候都更重要？NFS-SSD（以太网直连SSD）如何改变游戏规则）‍‍

打破传统NAS集群无法提供线性性能扩展

只需一个文件系统就可以统治所有文件系统？这对IT有什么帮助？是的，美妙之处在于它只是NFS，所以它是内置在Linux中，当我谈论更智能的客户端时，它自RHEL 7以来一直存在于Linux中。因此，我们多年前就通过将标准推向 Linux社区，为此奠定了基础。从IT的角度来看，这就像NAS，即插即用。它在标准以太网网络上工作，也可以在支持RDMA的网络上工作。它具有企业级NAS里丰富的数据功能，例如数据保护策略（备份归档）、快照、克隆、审计和病毒防护等等，以及其他可帮助用户避免事故和数据损坏的数据服务。因此，它具有非常强大的功能集。所有这些归结为易用性，用来提升管理员管理存储环境的效率。

Hammerspace内置丰富的数据管理功能（超出若干个商业软件的功能合集）‍

企业级NAS目的是降低风险，而HPC文件系统则是为了减少运行时间，减少输入数据和输出数据所需的时间。因此，Hyperscale NAS的美妙之处在于，您拥有企业NAS风险降低特性和HPC奇特文件系统的性能，所有这些都融为一体。

对于Hammerspace来说，任何传统NAS都只是Hyperscale NAS环境中并行NAS中的一个存储节点。因此，您可以整合现有的NetApp、Isilon存储，又或者任意第三方NAS系统，无论是开源的还是其他的，这些只是存储节点。这也表明了为什么可以将一台Linux服务器从箱子里取出并打开其NFS服务，它就是一个存储节点。因此，Hyperscale NAS还允许超融合架构，因为任何使用 NFS的东西都是存储节点，也就说您的计算节点实际上也可以是存储节点。（请查阅文章：第0层存储 - Tier 0）

我们在内部使用AI来决定将数据放置在何处以及何时将其移动到各种不同的存储节点，以便你能够足够快地对它们进行操作。这使得我们能够将磁带、磁盘、闪存和GPU服务器中的闪存等各种技术整合在一起。因此，Hyperscale NAS和数据编排使我们能够发挥这种关于数据移动和放置的智能，这就是说，我们第一次可以自动化企业IT中存在的一些最容易出错、最耗时的任务：数据的移动。我们摆脱了数据迁移，没有数据迁移这回事，没有停机时间。数据可以在您仍在使用时简单地从一个基础设施移动到另一个基础设施（如VMware中vMotion效果）。

最后，再加上全局文件系统功能，使得能够在多个数据中心呈现同一个文件系统。现在，您真的拥有了处理任何工作负载的神奇魔力。您可以根据业务所需的性能提供数据。可以在成本、容量、成本和性能范围内移动数据，并且可以同时在不同的数据中心执行此操作，以便您可以利用不同位置的资源或其他计算资源。