破局RAG向量检索瓶颈：存算一体技术取得关键突破，性能飙升100倍，能效碾压GPU千倍，为新一代人工智能基础设施提供核心动力

存算一体破局向量检索瓶颈，IBM放出王炸VSM：性能飙升100倍，能效碾压GPU千倍，RAG要变天？

生成式人工智能，特别是以检索增强生成（Retrieval-Augmented Generation, RAG）为代表的技术范式，正从根本上重塑企业与海量非结构化数据的交互方式。RAG通过从外部知识库中检索相关信息来“锚定”大型语言模型（LLM），有效缓解了模型幻觉，使其生成的内容更具事实性和时效性。这一流程将向量数据库从一项利基技术推向了人工智能技术栈的核心，使其成为支撑下一代智能应用的关键基础设施。要系统性地理解RAG背后的原理及其在大模型应用中的核心地位，资深人工智能专家王文广先生在其著作灯塔书《知识增强大模型》中进行了体系化的阐述。作为一位在AI芯片上层软件系统、大模型训练与知识增强领域均有深厚实践的专家，王文广先生在书中从“大模型的固有特性”出发，深入剖析了向量数据库和RAG何以成为解决“幻觉”和“知识陈旧”两大痛点的关键技术，为我们理解当前面临的架构挑战提供了坚实的理论背景。

然而，RAG的广泛应用正引发一场深刻的架构危机。随着向量数据集的规模从百万级迅速膨胀至数十亿甚至更高，将索引和向量数据完全加载到服务器动态随机存取存储器（DRAM）中的传统架构，在经济和物理层面都已变得难以为继。这道“内存墙”不仅是扩展人工智能应用的主要瓶颈，还因主机与存储之间频繁的数据移动而产生巨大的计算和能源开销，显著推高了总体拥有成本（TCO）。RAG工作负载从根本上改变了对存储系统的访问模式。它不再是传统模型训练中为满足GPU算力需求而进行的大规模顺序读取，而是在推理阶段由用户请求触发的、要求低延迟、高并发且计算密集型的随机读取操作。这种由大量小型、复杂查询构成的特定工作负载，难以由通用计算架构高效处理，从而为专用硬件的出现创造了市场契机。

vectors-3d-multi.png

这场危机亟需一场从以主机为中心到存内计算（In-Storage Processing）的范式转移。将计算能力直接推向数据所在位置的技术，正成为解决数据移动瓶颈、重构人工智能数据管道的关键路径。IBM研究院提出的向量搜索模块（Vector Search Module, VSM）正是这一趋势的有力例证。VSM并非对现有架构的增量改进，而是对AI数据处理流程的根本性重塑。它通过在固态硬盘（SSD）控制器层面集成向量搜索能力，直接挑战了图形处理器（GPU）等通用加速器在这一关键工作负载上的主导地位，为实现卓越的可扩展性、能效和成本效益开辟了新路径。

欢迎加入“走向未来”知识星球，一起探讨生成式人工智能、大模型和AIGC的产品、技术和应用实践，探讨如何使用各种不同的人工智能大模型和智能体来为工作增效，为生活添彩。点击链接（https://t.zsxq.com/xpWzq）或扫码加入“走向未来”知识星球，一起走向AGI的未来。

第一节 架构深度解析：IBM向量搜索模块（VSM）

IBM VSM是一种基于现场可编程门阵列（FPGA）的硬件架构，它被深度集成到SSD控制器中，旨在从根本上解决大规模向量相似性搜索的性能与成本难题。其设计的精髓在于软硬件的协同优化，以及对底层存储介质物理特性的深刻理解和利用。

硬件基础与双模能力

VSM的核心创新在于其硬件实现和独特的双模功能。该架构将向量搜索的计算逻辑直接植入SSD控制器，使其成为一个智能化的数据处理单元。尤为关键的是，搭载VSM的硬件具备双重身份：它既可以作为标准的闪存核心模块（FlashCore Module, FCM）提供传统的块存储服务，也可以根据系统需求被动态地重新配置为专用的VSM，执行向量搜索任务。这种设计为数据中心基础设施提供了前所未有的灵活性，存储阵列可以依据实时工作负载的变化，动态调配计算和存储资源，最大化硬件利用率。

针对NAND闪存的数据组织方式

VSM的性能优势根植于其专为NAND闪存物理特性而优化的数据组织方式。它摒弃了将SSD视为简单块设备的传统抽象，采用了一种“感知数据结构”的存储模型。

• 簇与子簇结构：向量数据首先被组织成逻辑上的“簇”（Clusters），每个簇再被进一步分割为更小的“子簇”（Sub-clusters）。这一分层结构是VSM进行数据管理和并行处理的基础。子簇的设计允许对向量数据进行高效地添加、移除和重组，为动态数据集的管理提供了便利。
• 闪存感知的数据布局：在物理存储上，子簇被顺序存储并条带化（Striped）到SSD内部所有的NAND通道（Channels）和平面（Planes）上，从而最大限度地利用闪存固有的并行读写能力。一个至关重要的设计是，子簇的存储边界与闪存的块条带（Block Stripes）对齐，确保一个子簇不会跨越多个块条带。这种布局简化了垃圾回收（Garbage Collection, GC）等底层操作，避免了复杂的跨区管理开销。这种设计体现了数据结构与底层存储介质的深度协同，保证了逻辑操作（如搜索一个簇）能够高效地映射为物理上的最大化并行操作（如同时从所有通道读取条带化的子簇）。

存储管理机制的系统级创新

VSM对传统SSD控制器的核心功能进行了重新设计，以适应向量搜索的独特需求。

• 逻辑-物理地址转换表（LPT）优化：传统的LPT负责将逻辑块地址映射到物理NAND位置，其体积随容量增大而膨胀，最终成为性能瓶颈。VSM用一个更高效的两级映射表（簇到子簇、子簇到物理位置）取而代之。这一变革使LPT的体积缩小了高达3500倍，使其能够完全驻留在控制器自带的少量DRAM中。这彻底消除了因LPT过大而需要从闪存中分页调度的性能瓶颈，该瓶颈在传统SSD处理高强度随机工作负载时普遍存在。
• 高效的垃圾回收（GC）与数据更新：VSM的GC操作在子簇级别进行，允许整组向量数据被高效地标记为无效并进行迁移，远比管理零散的逻辑块更为高效。同时，该架构支持通过跳过列表（Skip lists）来使子簇内的单个向量失效，并允许将新向量追加到现有子簇或创建新子簇。这种设计使得数据更新和删除操作无需对整个索引进行重建，显著提升了动态数据集的维护效率。

并行处理流水线

VSM的硬件流水线被设计用于最大化并行计算效率。当一个搜索请求到达时，其执行流程如下：

1. 并行读取：控制器从NAND闪存的多个通道和平面并行读取目标子簇的数据。
2. 数据解码与分发：数据流经纠错码（ECC）解码器后，向量数据被从码字（Codewords）中提取出来，并被送入32个并行的处理流水线。
3. 距离计算：每个流水线都配备了专用的乘法器和加法树，用于高速执行向量间的距离计算，例如内积运算。
4. K近邻（KNN）排序：计算出的距离值被送入一个基于硬件的KNN排序引擎（如最大堆结构），该引擎实时维护并更新距离最近的K个向量列表。

这个高度并行化的专用硬件设计，是VSM实现卓越性能和能效的根本原因。它将整个搜索流程固化于硬件，避免了通用处理器执行此任务时因指令调度、内存访问等产生的巨大开销。

第二节 VSM性能与经济效益的量化分析

IBM提供的基准测试数据为评估VSM在实际工作负载下的性能和经济价值提供了坚实基础。分析表明，VSM不仅在性能指标上表现出色，更在能效和总体拥有成本（TCO）方面展现出颠覆性的潜力。

穷举搜索与近似最近邻搜索性能

VSM在两种核心的向量搜索场景中都展示了强大的处理能力。

• 穷举搜索（Exhaustive Search）：在对数据集内所有向量进行精确搜索的场景下，一台配置16个NAND通道、多个ECC解码器的VSM设备，能在8毫秒内完成对100万个向量的搜索，查询吞吐量（QPS）超过17,000。测试还表明，当返回的近邻数量（k值）在100以内时，KNN排序过程并未成为性能瓶颈，这证明了其硬件流水线的均衡与高效。

• 近似最近邻搜索（ANN Search）：在处理十亿级大规模数据集时，VSM结合倒排文件索引（IVF）算法进行ANN搜索。数据显示，当查询需要探测的簇数量（nprobes）较多以追求高召回率（Recall）时，VSM的优势尤为突出。一个配置了48台VSM设备的4U机柜，在实现高召回率的同时，其吞吐量可达到纯CPU方案（使用FAISS库）的10倍以上。然而，当批量查询（Batch processing）中的不同请求指向不同簇时，可能导致硬件批处理单元利用率不足，这是一个需要在系统调度层面解决的挑战。

核心价值主张：每瓦查询数（QPS/W）

VSM最核心的竞争力体现在其卓越的系统级能效上。通过将计算下沉至存储设备，VSM极大地减少了数据在主机CPU、内存和存储之间来回搬运所产生的延迟和功耗。如下表所示，基于对12亿向量的Common Crawl数据集进行的穷举搜索测试，VSM在性能和能效上均远超传统架构。

这种近乎线性的性能与能效扩展能力，揭示了一种经济模式的颠覆。在传统架构中，追求更高的性能往往需要付出指数级增长的功耗和成本。而VSM架构则表明，大规模向量搜索可以在保持极高能效的同时进行扩展，这使得以往因成本过高而无法实现的应用场景变得经济可行。

总体拥有成本（TCO）影响

VSM卓越的能效直接转化为显著的TCO优势。

• 降低资本支出（CapEx）：通过将数十亿规模的向量数据集从昂贵的DRAM转移到成本效益更高的NAND闪存上，VSM架构极大地降低了对大内存服务器的依赖。
• 降低运营支出（OpEx）：QPS/W的巨大优势直接转化为更低的数据中心电力消耗和冷却成本，这两者是数据中心运营的主要开销。
• 提升部署密度：将处理数万亿向量的搜索能力集成到少数几个存储机柜中（例如，一个4U机柜容纳48个VSM），显著缩小了物理服务器的占地面积。与需要部署大量GPU服务器集群的方案相比，VSM极大地节省了宝贵的机架空间，并简化了基础设施的管理。

第三节 竞争格局：向量搜索加速技术分类解析

为了全面评估IBM VSM的市场定位，必须将其置于一个更广阔的技术竞争格局中进行分析。当前，向量搜索的加速主要通过四种路径实现：GPU加速、其他计算存储方案、基于算法的优化以及传统的CPU方案。这场硬件层面的创新竞赛，其根基在于上层向量检索算法与数据库系统的不断演进。若要深入理解这些硬件方案所服务的对象——即向量索引、检索算法及数据库架构的内在逻辑，王文广先生的《知识增强大模型》一书提供了宝贵的路线图。该书第3章“向量数据库”详细剖析了从向量表示、相似度计算到ANN、NNS、k-MCS、k-MIPS、LSH、HNSW、VQ、PQ等核心索引算法的原理，并提供了对Milvus等主流系统的实战指南。理解这些软件层面的精髓，是准确评估VSM、GPU加速和DiskANN等不同技术路径优劣势的必要前提。

表：向量搜索加速架构对比框架

现有主导者：GPU加速

• 技术：利用GPU（如NVIDIA A100/H100）的大规模并行计算能力，结合NVIDIA cuVS等专用软件库，已成为高性能、内存内向量搜索的行业标准。Milvus、Weaviate等主流向量数据库均已支持GPU加速。
• 优势：对于能够完全载入GPU显存（VRAM）的数据集，GPU在索引构建和查询方面提供无与伦比的原始计算性能。
• 劣势：GPU的劣势同样突出。其功耗极高，导致QPS/W指标不佳；有限的VRAM容量面对十亿级向量数据集时形成了新的“内存墙”；高昂的采购成本使其TCO居高不下。作为通用并行计算设备，GPU在处理向量距离计算这类高度特化的任务时，存在大量功能冗余和效率浪费。

直接架构竞争者：其他计算存储方案

• 技术：以三星的SmartSSD为代表，这类设备同样在SSD内部集成了FPGA或ASIC，以实现近数据处理（Near-Data Processing, NDP）。学术界和工业界的研究项目，如SmartANNS和NDSEARCH，均基于此类硬件构建。
• 优势：与VSM共享相同的核心理念和优势，即通过减少数据移动来提升能效和突破DRAM的容量限制。
• 架构对比：VSM与SmartANNS在实现路径上存在差异。SmartANNS采用一种“主机-设备协作”架构，由主机CPU负责管理一个顶层的粗粒度索引（如簇中心点），并将具体的片（Shard）内搜索任务卸载到SmartSSD执行。相比之下，VSM提供的是一个更为集成化的“搜索设备”模型。协作模型的优势在于可能对不同的索引类型有更好的适应性，但需要更复杂的主机端调度逻辑；而VSM的集成模型则简化了系统架构。

算法替代方案：磁盘感知索引

• 技术：这是一种纯软件方法，它不依赖专用硬件，而是通过设计专门面向SSD的索引结构和查询算法来优化性能。微软研究院开发的DiskANN是其中的杰出代表。
• 优势：DiskANN可运行于任何标准的NVMe SSD上，部署成本低廉且易于实现。在处理亿级数据集时，其性能与内存内的HNSW算法相当，同时节省了大量系统内存。
• 劣势：尽管经过高度优化，纯软件方案的性能和能效上限终究无法与VSM这样的专用硬件流水线相比。其性能最终受限于标准NVMe块接口的带宽和主机CPU处理I/O及计算的能力。这种方法缓解了DRAM容量问题，但未能从根本上解决主机CPU瓶颈和数据移动开销。

第四节 市场影响与战略展望

IBM VSM这类技术的出现，预示着AI基础设施市场的深刻变革。其影响将渗透到向量数据库生态、云服务提供商的战略布局以及存储行业标准的演进等多个层面。

对向量数据库生态的潜在颠覆

VSM的出现为Milvus、Pinecone、Weaviate等向量数据库厂商带来了机遇与挑战。

• 新的集成路径：目前，这些厂商主要聚焦于软件层面的优化。VSM为它们提供了一个新的选项：将计算密集型的搜索核心卸载到一个高效的硬件后端。这可能催生出新的产品线，例如“Milvus VSM版”，专为追求极致TCO和规模化的客户设计。
• 潜在的竞争威胁：另一方面，如果IBM或其他硬件厂商将VSM打包成一个软硬件一体的“向量搜索设备”，它将直接与纯软件的向量数据库形成竞争。这种一体化方案对用户而言可能意味着更低的集成复杂度和开箱即用的高性能。

超大规模数据中心（Hyperscaler）的机遇

谷歌、微软、亚马逊等云服务巨头是VSM技术最潜在的采纳者。它们提供的托管向量搜索服务，如Google Vertex AI Vector Search和Azure Mosaic AI Vector Search，正面临着大规模部署下的成本和效率挑战。

• 成本结构优化：VSM在功耗、部署密度和DRAM需求方面的巨大优势，完美契合了超大规模数据中心对TCO的极致追求。采用VSM作为其服务的底层技术，可以显著降低运营成本。
• 服务差异化：基于VSM的后端架构，云服务商能够推出前所未有的服务等级，例如支持万亿级向量搜索的实例，或以更低的价格提供现有规模的服务，从而构建强大的市场竞争壁垒。

通往普及之路：标准化的瓶颈

VSM技术走向广泛应用的最大障碍在于接口和标准的缺失。

• 接口的局限性：IBM的报告明确指出，现有的NVMe Key-Value等接口不足以支持高效的向量搜索，它们缺乏针对闪存优化的数据组织能力。为了让上层数据库软件能够与VSM这类设备高效通信，行业需要一个全新的、标准化的接口。
• 标准组织的角色：SNIA计算存储技术工作组（SNIA Computational Storage TWG）和NVM Express组织正在推动相关标准的制定。VSM能否成功，很大程度上取决于行业能否就一套开放标准达成共识。
• IBM的战略抉择：IBM面临一个战略选择：是推动一个开放标准，通过做大整个市场来获益，但面临技术被商品化的风险；还是维持一个专有技术栈，以保护其在集成系统上的高利润。前者能加速市场采纳，但会削弱其长期独占优势；后者则限制了其潜在市场规模。

随着VSM这类硬件的成熟，一个硬件与AI软件协同设计的正反馈循环将被触发。当向量数据库能够感知底层硬件的特性（如最佳子簇大小、并行流水线深度）时，它们可以相应地进化其索引构建和查询规划策略，以最大化硬件利用率。这将催生出超越当前通用硬件抽象的、更高层次的性能优化，推动整个高性能数据系统进入一个软硬件深度协同的新时代。

欢迎加入“走向未来”知识星球，一起探讨生成式人工智能、大模型和AIGC的产品、技术和应用实践，探讨如何使用各种不同的人工智能大模型和智能体来为工作增效，为生活添彩。点击链接（https://t.zsxq.com/xpWzq）或扫码加入“走向未来”知识星球，一起走向AGI的未来。

结论：数据边缘的向量搜索

IBM的向量搜索模块（VSM）不仅是一项技术创新，更是对存内计算范式在AI领域有效性的强力验证。它不再是一个停留在研究层面的概念，而是一个经过精心设计、具备可量化性能和能效优势的成熟解决方案，其优势达到了数量级。

VSM的出现预示着一个趋势的到来：单纯依赖通用CPU和GPU处理AI流水线所有环节的时代正在结束。取而代之的，将是与软件和数据结构协同设计的、针对特定工作负载进行优化的专用硬件。这种协同设计将是未来高性能系统的核心特征。

这也要求行业重新审视性能评估的基准。简单的QPS指标已不足以衡量一个现代向量搜索系统的真实价值。一个更全面的指标，或可称之为“召回时间”（Time-to-Recall），应被建立起来。它不仅包含查询延迟和吞吐量，还必须纳入索引构建和数据更新的速度。在RAG等动态应用场景中，快速响应数据变化的能力至关重要。VSM在设计中对高效更新的考量，正是朝这个方向迈出的一步。

基于以上分析，对不同领域的决策者提出以下战略建议：

• 对于基础设施架构师：应开始将计算存储解决方案作为评估大规模向量搜索部署的首选方案之一，以主动管理TCO并突破DRAM的规模限制。
• 对于向量数据库供应商：应优先投入研发资源，开发能够感知硬件特性的查询规划器和集成层，为迎接计算存储时代的到来做好准备。
• 对于技术投资者：应关注那些致力于通过软硬件协同设计来弥合性能鸿沟的公司，并密切跟踪SNIA和NVM Express等标准组织的进展，将其作为市场采纳度的关键先行指标。