玩转RAG应用：如何选对Embedding模型？

在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。​那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？​

本文大致参考思路是：先从Mteb榜单选“最优”，然后结合实际需求选择效果以及速度性价比较高的模型

MTEB简介

MTEB : Massive Text Embedding Benchmark

• github : https://github.com/embeddings-benchmark/mteb
• huggingface : https://huggingface.co/spaces/mteb/leaderboard
• paper : https://paperswithcode.com/paper/mteb-massive-text-embedding-benchmark

MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。MTEB 提供了一个公共排行榜，允许研究人员提交他们的结果并跟踪他们的进展。MTEB 还提供了一个简单的 API，允许研究人员轻松地将他们的模型与基准测试进行比较。

MTEB 包含以下 8 种任务类型：

• Bitext Mining ：寻找两种语言句子集之间的最佳匹配。输入是来自两种不同语言的两个句子集，对于来自第一个句子集的句子，找到在第二个子集中最匹配的句子。模型将句子编码成向量后用余弦相似度来寻找最相似的句子对。F1是主要的评估指标、Accuracy、precision、recall也一并计算了。
• Classification ：使用嵌入模型训练逻辑回归分类器。训练集和测试集通过给定模型编码，测试集向量被用来训练一个LR分类器(最多100次迭代)，然后使用测试集来打分，主要评估指标是accuracy with average precision，同时包括F1。
• Clustering ：将句子或段落分组为有意义的簇。给定句子集或段落集，将其分组为有意义的簇。在编码后的文档上训练一个 mini-batch k-means 模型(batch size为32, k是不同标签的个数)，然后使用v-meature为模型打分。
• Pair Classification ：为一对文本输入分配标签，通常是二元变量，表示重复或释义对。输入是一对带标签的文本，两个文本被编码后计算多种距离：cosine similarity, dot product, euclidean distance, manhattan distance。接着使用最佳阈值来计算accuracy, average precision, f1, precision, recall。基于余弦相似度的平均精度是主要指标。
• Reranking ：根据与查询的相关性对结果进行重新排序。输入是一个查询语句以及一个包含相关和不相关文本的列表。模型编码文本后比较与查询语句的余弦相似性。每个查询语句的分数都被计算并平均所有查询语句的分数。指标有平均 M R R @ k MRR@kMRR@k和MAP(主要指标)
• Retrieval ：找到相关文档。每个数据集包括一个语料集，查询语句及其与语料中的相关文档的映射。模型编码所有查询语句和语料文档之后计算余弦相似度，对每一个查询语句的结果排序后计算k的多个取值所对应的nDCG@k, MRR@k, MAP@k, precision@k , recall@k。使用BEIR相同的设置，nDCG@10是主要指标。
• Semantic Textual Similarity (STS) ：确定句子对的相似性。给定句子对计算它们的相似度，标签是连续得分(越大相似度越高)。模型编码句子后计算使用不同的距离指标计算它们的相似性，计算好的距离与标签相似度基准比较Pearson和Spearman相关性。主要指标是基于余弦相似度的Spearma
• Summarization ：评估机器生成的摘要。包括一个手写摘要和机器生成摘要数据集，目标是给机器生成摘要打分。模型编码所有摘要，然后对于每一个机器生成摘要向量，计算其与所有手写摘要向量的距离，将相似度最大的分数作为单个机器生成摘要的分数，接下来与基准比较计算Pearson和Spearman相关性。主要指标是基于余弦相似度的Spearman相关性。

MTEB榜单介绍

有两个榜单MTEB地址：

• 新版本：https://huggingface.co/spaces/mteb/leaderboard
• 旧版本：https://huggingface.co/spaces/mteb/leaderboard_legacy

下面我们以旧版本为例（其中有中文等语言的筛选），看下榜单怎么快速筛序我们想要的模型

我们可以在搜索框里面输入模型名字以及关键词进行快速筛选，同时可以结合模型类型以及模型大小进行过滤，下面一栏是可以筛切换语言种类和具体任务榜单，下面是中文模型的模型排行：

考虑因素

有同学也有反应MTEB榜单可能存在过拟合的现象，我们可以尽量选取前面的模型，结合使用或者下载量来选择比较靠谱的模型。

除了排行榜，模型的以下特性也需考虑：

• 模型大小： 影响计算资源需求和延迟。例如，较大的模型如 gte-Qwen2-7B-instruct（7 亿参数）可能更适合复杂任务，但计算成本更高。
• 嵌入维度： 维度较低的模型（如 384 维的 all-MiniLM-L6-v2）存储和比较更快，但可能牺牲语义捕捉能力。
• 语言支持： 多语言模型如 multilingal-e5-large 适合跨语言应用，而单语言模型可能在特定语言上表现更好。
• 预训练与微调： 预训练模型如 intfloat/e5-large-v2 适合通用场景，领域特定模型如 PubMedBERT（医学领域）则需微调以适应特定数据。
• 存储和内存等资源需求： 高维向量需要更多的存储空间，这可能会带来长期成本。例如，较高维度的模型如 text-embedding-ada-002 需要更多的存储资源。另外，较大的模型可能会占用更多内存，因此不适合内存有限的设备。
• 推理时间： 如果你的应用场景对响应时间有高要求，需要选择在推理时速度较快的模型。
• 模型在特定领域的表现： 通用 Embedding 模型在特定垂直领域（如医学、法律和金融等）可能不如专用模型有效。这些领域通常需要专门训练 Embedding 模型来捕捉特定的专业术语和语境。为特定业务需求优化的 Embedding 模型能够显著提升检索和生成的质量。例如，通过结合向量检索和重排序（reranking）技术，可以进一步优化结果。
• 处理长文本的能力： 切分的文本片段后续需要通过 Embedding 模型进行向量化，所以必须考虑向量模型对输入文本块的 tokens 长度限制，超出这个限制则会导致模型对文本进行截断，从而丢失信息，影响下游任务的性能。不同的 Embedding 模型对文本块长度的支持能力不同。比如，BERT 及其变体通常支持最多 512 个tokens，处理长文本时则需要将文本分成更小的块，意味着需要更加精细化的分块策略。而 Jina AI 的 Embedding 模型和 bge-m3 模型则支持 8K 的 tokens 输入，适合处理长文本块。
• 模型的可扩展性与易用性 ： 微调和更新的能力：对于一个不断迭代的RAG系统，选择一个能够轻松微调和持续更新的模型至关重要。比如Hugging Face的Transformers库、FlaggEmbedding提供了便捷的微调工具。模型是否易于集成进现有的RAG架构？文档是否清晰？社区支持如何？
• 成本与可用性： 开源模型（如 E5 系列）免费，专有模型（如 OpenAI 的 text-embedding-3-large）可能涉及 API 费用和隐私问题

比较流行的Embedding模型

下面是一些按下载量排行比较高的模型，可能实际数据有变动