【自然语言处理与大模型】向量数据库技术

向量数据库，是专门为向量检索设计的中间件！

高效存储、快速检索和管理高纬度向量数据的系统称为向量数据库。

一、向量数据库是什么有什么用？

向量数据库是一种专门用于高效存储和检索高维向量数据的系统。它通过嵌入模型将各类非结构化数据（包括文本、图像、音频等）转化为向量表示，并借助优化的索引结构和搜索算法实现快速查询。该数据库的核心功能在于执行相似性搜索：通过计算向量间的距离度量（如欧几里得距离或余弦相似度），精准定位与目标向量最相似的数据点。这种特性使其在处理非结构化数据方面表现出色，广泛应用于语义搜索、内容推荐等需要深度理解数据语义的场景。

二、如何存储和检索嵌入向量

如何存储：向量数据库将嵌入向量存储为高维空间中的点，并为每个向量分配唯一标识符（ID），同时支持存储元数据。

如何检索：通过近似最近邻（ANN）算法（如PQ等）对向量进行索引和快速搜索。比如，FAISS和Milvus等数据库通过高效的索引结构加速检索。

三、向量数据库与传统数据库对比

【注】向量数据库的核心价值在于高效检索，其本身并不生成向量，而是依赖于Embedding模型进行向量化处理。与传统数据库相比，向量数据库并非替代关系，而是形成互补。在实际应用场景中，二者往往根据具体需求协同使用，共同构建更完善的数据处理体系。

四、主流向量数据库功能对比