面向AI革命的新型数据存储架构解析

面向AI革命的新型数据存储架构解析

人工智能正在改变企业存储和访问数据的方式。传统数据存储系统设计用于同时处理少量用户的简单命令，而当今具有数百万代理的AI系统需要持续并行访问和处理大量数据。传统数据存储系统现在具有多层复杂性，这会减慢AI系统的速度，因为数据在到达作为AI脑细胞的图形处理单元（GPU）之前必须经过多个层级。

某机构联合创始人开发的可扩展存储系统正在帮助存储跟上AI革命的步伐。该公司为企业开发了可扩展的存储系统，帮助数据在存储和AI模型之间无缝流动。该系统通过将并行计算应用于数据存储来降低复杂性，将AI功能和数据整合到单个并行处理平台上，该平台存储、检索和处理可扩展的数据集，实现存储与GPU和CPU之间的直接高速传输。

该集成存储计算平台简化了构建商业规模AI工具的过程，并为企业提供了能够跟上AI发展的存储基础。

"人们关于AI的一个误解是，它完全取决于数据，"创始人表示，"你不能通过增加10%甚至10倍的数据来获得10%的AI性能提升——你需要1000倍的数据。能够以易于管理的方式存储这些数据，并以可以嵌入计算的方式存储，以便在数据传入时运行操作而无需移动数据——这就是行业的发展方向。"

从学术研究到产业应用

20世纪90年代，创始人在某机构学习期间被教授引入了并行计算——一种许多计算同时进行的计算类型。他还与副教授合作进行了并行计算研究。

"那是一个不可思议的时期，因为大多数学校都有一个超级计算项目——而某机构有四个，"创始人回忆道。

作为研究生，创始人与该机构高级研究科学家合作，这位计算先驱为互联网的早期架构做出了贡献，特别是在系统之间传输数据的传输控制协议（TCP）。

"作为某机构的研究生，我研究了大规遍分布式系统的断开和间歇性网络操作，"创始人说，"有趣的是——30年后的今天，我仍在做同样的事情。"

技术架构创新

该机构的平台使用对象存储架构，其中所有类型的数据——文档、视频、传感器数据——都作为具有元数据的唯一对象存储。对象存储可以在平面文件结构中管理海量数据集，使其非常适合非结构化数据和AI系统，但传统上无法将数据直接发送到AI模型，而无需先将数据复制到计算机的内存系统中，这为企业带来了延迟和能源瓶颈。

最近，该机构宣布通过向量数据库扩展其对象存储系统，该数据库以AI模型立即可用的形式存储数据。在数据被摄取时，该机构实时计算数据的向量形式，为推荐引擎、搜索和AI助手等AI工具提供动力。该机构还宣布与某芯片制造商建立合作伙伴关系，使其存储系统能够直接与该AI公司的GPU协同工作。据称，新系统能够实现更快的AI操作并降低计算成本。

"某芯片制造商大约一年半前联系我们，因为GPU只有在有数据保持其忙碌时才有用，"创始人表示，"现在人们意识到将AI移动到数据比移动海量数据集更容易。我们的存储系统嵌入了许多AI功能，因此我们能够在收集和存储数据的地方附近为AI进行数据的前后处理。"

AI优先的存储实践

该机构正在帮助全球约1000家公司从数据中获取更多价值，包括大型制造商、金融服务提供商、医疗保健组织和政府机构。

例如，该机构的存储平台正在帮助一家大型汽车制造商使用AI来确定其每个制造机器人何时需要维护。该机构还与国家医学图书馆合作存储研究文章和专利，与国家癌症数据库合作存储肿瘤DNA序列——这些丰富的数据集可以被AI模型处理，以帮助研究开发新的治疗方法或获得新的见解。

"GPU一直是一个令人难以置信的推动者，"创始人说，"摩尔定律每两年使计算量翻一番，但GPU能够在芯片上并行化操作，因此你可以将GPU联网在一起并打破摩尔定律。这种规模正在将AI推向新的智能水平，但让GPU努力工作的唯一方法是以它们计算的速度向它们提供数据——而实现这一点的唯一方法是消除它们与数据之间的所有层级。"