前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >深度解析仿人脑记忆搜索的HippoRAG2,全面对比GraphRAG、KAG、LightRAG和PIKE-RAG,成本缩减12倍

深度解析仿人脑记忆搜索的HippoRAG2,全面对比GraphRAG、KAG、LightRAG和PIKE-RAG,成本缩减12倍

作者头像
AgenticAI
发布于 2025-03-18 08:49:44
发布于 2025-03-18 08:49:44
1430
举报
文章被收录于专栏:AgenticAIAgenticAI

持续获取、组织和利用知识的能力是人类智能的关键特征,而 AI 系统若想充分发挥潜力,也必须具备这一能力。近期,一些 RAG 方法通过引入知识图谱等结构来增强对信息的理解和联想能力,部分弥补了这些不足。然而,这些增强方法在基础事实记忆任务上的表现通常远逊于标准 RAG。HippoRAG 2[1] 基于 HippoRAG 采用的 个性化 PageRank(Personalized PageRank, PPR)算法,并进一步优化了信息整合方式,同时增强了 LLM 在在线检索中的作用。

本文首先解析 HippoRAG 2 的设计思路,并通过在数据集上对比 GraphRAG、LightRAG、KAG 和 PIKE-RAG,展示其在知识检索中的独特优势,并讨论 hipporag2 的成本优势!欢迎关注与分享,共同探索 RAG 技术的新边界!

1. 系统架构

为了全面理解 HippoRAG2,我们首先回顾一下《HippoRAG 1》代。它是一个受神经生物学启发的大语言模型长期记忆框架,其各个组件均旨在模拟人类记忆的不同侧面。该框架主要由三个部分构成:人工新皮层(LLM)、旁海马区域(PHR 编码器)以及人工海马(开放知识图谱,Open KG)。这三部分协同工作,再现了人类长期记忆中各信息模块间的相互作用。

在 HippoRAG 的离线索引阶段,LLM 将文段处理为知识图谱三元组,并将其整合到人工海马索引中;同时,PHR 负责检测同义关系以实现信息互联。在在线检索阶段,LLM(作为人工新皮层)从查询中抽取命名实体,而 PHR 编码器则将这些实体链接到海马索引上。随后,对知识图谱应用个性化 PageRank(PPR)算法,进行基于语境的检索。尽管 HippoRAG 试图通过非参数 RAG 构建记忆,但其效果受到一个关键缺陷的制约——以实体为中心的方法在索引和推理过程中导致语境信息的丢失,并且在语义匹配上存在困难

基于 HippoRAG 所提出的神经生物学启发的长期记忆框架,HippoRAG 2 在结构上遵循类似的离线索引与在线检索两阶段流程,但在此基础上引入了几个关键改进,以更好地契合人类记忆机制:

  1. 它能够无缝整合开放知识图谱中的概念信息与语境信息,提升索引的完整性和粒度;
  2. 它利用知识图谱结构中超出单一节点的信息,促进了更具语境敏感性的检索;
  3. 它引入了识别记忆机制,以改善图搜索中种子节点的选择。

2. 离线索引

HippoRAG 2 利用 LLM 从文本中抽取三元组,并构造一个无模式的知识图谱,同时通过向量相似性进行同义词检测,将相似概念连接起来,即去重消歧,这是一个非常好的消歧思路,而且还实现了;同时,每个文档被视作一个“通道节点”,与其中的概念节点通过“包含”关系相连,从而实现概念与语境的融合。

注意它不需要对 Prompt 进行任何微调,完全根据大模型自动识别三元组,就能够适应任何领域的 QA。你可以看到它只需要通过 LLM 提取三元组,通过 Embedding 完成消歧,因此成本下降在这里!而消歧好坏,在于 Emebdding 模型,论文中使用 NVIDIA 开源的NV-Embd-v2,它是基于Mistral-7B-v0.1[2]改进而来。对于中文,或许我们可以考虑使用Alibaba-NLP/gte-Qwen2-7B-instruct[3]。

3. 在线检索

编码器将查询与相关的三元组及文段进行关联,从而识别出图搜索的潜在种子节点。在三元组关联过程中,识别记忆机制作为过滤器发挥作用,确保仅保留与查询高度相关的三元组。给定种子节点后,基于 PPR 算法进行语境感知检索,精细筛选最相关文段,进一步细化关联结果以选取最相关的文段。最终,检索到的文段作为问答任务的上下文输入。整个流程下图所示。

4. 数据集表现对比

在论文中,比较RAPTOR[4]、GraphRAG[5]、LightRAG[6]和 HippoRAG 1 代,我参考了KAG 论文[7]、PIKE-RAG[8]论文制作了以下表格,方便比较,以下分数都是 F1(权衡召回与精确率的一种调和分数)。

RAG

HotpotQA

2Wiki

MuSiQue

RAPTOR

69.5

52.1

28.9

GraphRAG

68.6

58.6

38.5

LightRAG

2.4

11.6

1.6

HippoRAG

63.5

71.8

35.1

KAG

76.2

76.2

48.7

PIKE-RAG

76.26

75.19

56.62

HippoRAG2

75.5

71.0

48.6

由于不同的论文中,采用的模型不同,分数上有个别差距的,我认为问题不大,依然具有参考性!

令我意外的是,LightRAG 在这些数据集上的表现远低于预期。可以看到,HippoRAG2 在 HotpotQA、2Wiki、MuSiQue 三个数据集上的表现均优于 GraphRAG,接近甚至超越 KAG 和 PIKE-RAG,同时其成本远低于 GraphRAG。但 HippoRAG2 的成本更低!

5. 12 倍成本下降!

相较于昂贵的 GraphRAG,HippoRAG2 在具有更高准确率的基础上,成本下降 12 倍,据此可以推断耗时下降只会比 12 倍更高,什么概念,原来要 GraphRAG 可能要 2 个小时的,而 HippoRAG 现在可能只需要 10 分钟!!!PIKE-RAG 的成本从论文上来看,成本只会更高。

总结

过去 1 年,GraphRAG 等 RAG 方法在检索增强生成(RAG)领域得到了广泛应用,特别是在构建知识库时展现出一定优势。我也在 GraphRAG 开源早期介入进去,并开源了graphrag-server[9] ,也发布了一系列的教程文章。然而,随着使用深入,我逐渐发现 GraphRAG 在索引速度、检索效果和成本方面存在明显局限。例如,其索引过程可能耗时数小时,知识库更新成本过高,而自动社区分类的收益也难以量化。

大脑真的像 GraphRAG 这样组织知识吗? 这是我思考的关键问题。近期,HippoRAG2 的出现让我看到了一种全新的可能性。它模拟人脑的记忆机制,通过优化知识整合与检索策略,实现了更高效、更低成本的 RAG 方案。

本文详细解析了 HippoRAG2 的原理,并对比了 GraphRAG、LightRAG、PIKE-RAG、KAG等当前主流方案。结果显示,HippoRAG2 在准确率上接近最先进的方案,同时大幅降低了计算成本。

后续文章,我将深入探讨 HippoRAG2 的实战应用,并分享我在优化过程中做出的改进,敬请期待!现在加入我的知识星球即刻获取简化部署代码

我是一名实战派,记得关注哟,获得及时更新。

参考资料

[1]

HippoRAG 2: https://arxiv.org/pdf/2502.14802

[2]

Mistral-7B-v0.1: https://huggingface.co/mistralai/Mistral-7B-v0.1

[3]

Alibaba-NLP/gte-Qwen2-7B-instruct: https://huggingface.co/Alibaba-NLP/gte-Qwen2-7B-instruct

[4]

RAPTOR: https://arxiv.org/abs/2401.18059

[5]

GraphRAG: https://arxiv.org/abs/2404.16130

[6]

LightRAG: https://arxiv.org/abs/2410.05779

[7]

KAG论文: https://arxiv.org/pdf/2409.13731

[8]

PIKE-RAG: https://arxiv.org/pdf/2501.11551

[9]

graphrag-server: https://github.com/KylinMountain/graphrag-server

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-03-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AgenticAI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
HippoRAG:模拟大脑记忆思索机制的 RAG
人类大脑通过不断积累和更新知识来适应环境,而大型语言模型(LLMs)虽具智能,却缺乏这种动态更新能力。为解决这一问题,研究人员开发了一种名为“HippoRAG”的新框架,模仿了大脑新皮质和海马体的工作机制,显著提升了多跳问题解答的性能,比现有 RAG 方法高出 20%。HippoRAG 不仅成本低、速度快,在单一检索步骤中还优于迭代 IRCoT 方法。这展示了如何将生物学原理应用于提高 LLMs 的效率。RAG 通过将数据集分块并索引于矢量数据库中,实现高效检索。然而,传统 RAG 在涉及多块知识整合的现实任务(如法律、医学和科学领域的多跳问题解答)上表现不佳。以前的研究,如 Self-Ask[1] 和 IR-CoT[2],通过多重检索和 LLM 生成迭代连接知识块,但在处理信息分散且无直接联系的任务上仍有不足。
AgenticAI
2025/03/18
1330
HippoRAG:模拟大脑记忆思索机制的 RAG
GraphRAG框架总结:开启智能知识的全新时代
GraphRAG通过将传统的RAG(Retrieval-Augmented Generation)框架与图结构结合,利用知识图谱(KG)中的实体关系、社区结构及知识的关联性,提升了信息检索和生成的效果。微软的GraphRAG发布后,也涌现了很多轻量化的版本,这篇文档对GraphRAG的框架做一个总结,也会陆续不断更新。
AI研思录
2025/02/20
1930
GraphRAG框架总结:开启智能知识的全新时代
KG+RAG 系列范式对比及 KAG 框架再思考:兼看大模型增强 KBQA 问答竞赛方案
作者简介:刘焕勇,360 人工智能研究院资深算法专家,知识图谱及文档理解算法方向负责人,曾就职于中国科学院。
可信AI进展
2024/12/02
3020
【RAG论文精读】给RAG引入海马体记忆索引理论HippoRAG: Neurobiologically Inspired Long-Term Memory fo
当前的大型语言模型 (LLMs) 虽然在知识存储方面取得了显著进展,但仍然缺乏高效整合新知识的能力。传统的检索增强生成 (RAG) 方法虽然允许向静态模型中添加新知识,但仍然无法有效地跨段落整合信息。为了解决这一问题,本文提出了 HippoRAG,一个受人类长期记忆中海马体索引理论启发的检索框架,旨在实现更深入、更高效的知识整合。
中杯可乐多加冰
2024/12/22
2690
RAG七十二式:2024年度RAG清单
回顾2024,大模型日新月异,智能体百家争鸣。作为AI应用的重要组成部分,RAG也是“群雄逐鹿,诸侯并起”。年初ModularRAG持续升温、GraphRAG大放异彩,年中开源工具如火如荼、知识图谱再创新机,年末图表理解、多模态RAG又启新征程,简直“你方唱罢我登场”,奇技叠出,不胜枚举!
AI研思录
2025/02/20
1520
RAG七十二式:2024年度RAG清单
最全梳理:一文搞懂RAG技术的5种范式!
本文主要回顾 RAG 技术的发展,第一部分梳理了综述和关键论文,第二部分梳理了工程实践工具。 
Datawhale
2025/02/24
1.2K0
最全梳理:一文搞懂RAG技术的5种范式!
蚂蚁开源新RAG框架KAG,可达91%准确率
上文评测蚂蚁开源的《蚂蚁 DB-GPT 也开源了 GraphRAG,能用吗?好用么?看这篇就够了》,本文探一探蚂蚁开源的另外一套知识增强生成框架 KAG(Knowledge Augmented Generation),专门用于构建垂直领域知识库的逻辑推理问答框架,论文中提到在电子政务达到了 91.6 的准确率,电子医疗各个问答也有不俗的准确率。
AgenticAI
2025/03/18
1420
蚂蚁开源新RAG框架KAG,可达91%准确率
从GraphRAG最新论文综述探究如何改进微软 GraphRAG
最近北大、浙大等高校和蚂蚁集团等机构发布了一篇 GraphRAG 综述论文《Graph Retrieval-Augmented Generation: A Survey[1]》。本文首先对论文进行简单介绍,然后对论文中 GraphRAG 提到的三个阶段进行分别介绍,探索当前业界都在尝试哪些方法优化 GraphRAG,以及有哪些较为流行的GraphRAG框架。我也会穿插讲解微软 GraphRAG 中的实现和可能的优化方法。
AgenticAI
2025/03/18
1220
从GraphRAG最新论文综述探究如何改进微软 GraphRAG
LightRAG开源了!轻巧、强大,GraphRAG的进化版
我们以前介绍了HybridRAG、GraphRAG这些,今天我们将介绍一个崭新的RAG项目:LightRAG。
AI进修生
2024/12/02
1K0
LightRAG开源了!轻巧、强大,GraphRAG的进化版
蚂蚁 KAG 框架核心功能研读
作者介绍:薛明,拥有近 10 年在医疗和零售领域应用机器学习和人工智能的经验。曾就职于通用电气、复星医药等企业。长期专注于医学图像、自然语言处理以及数据科学的研发工作,如训练/推理框架、数据挖掘与分析等领域。于 2024 年 7 月创立 AI 公司 Percena,负责基于大模型的应用产品开发,如 RAG & Agent 等。
可信AI进展
2024/11/18
3450
从知识图谱到 GraphRAG:探索属性图的构建和复杂的数据检索实践
在上一篇《为什么说知识图谱 + RAG > 传统 RAG?》 的文章中,我们已经对GraphRAG 的数据结构有了基本的了解。这篇文章,让我们深入研究如何在实践中实现这些概念。
可信AI进展
2024/08/02
8970
解密prompt系列41. GraphRAG真的是Silver Bullet?
这一章我们介绍GraphRAG范式,算着时间也是该到图谱了,NLP每一轮新模型出来后,往往都是先研究微调,然后各种预训练方案,接着琢磨数据,各种主动学习半监督,弱监督,无监督,再之后就到图谱和对抗学习~
风雨中的小七
2024/10/24
3800
解密prompt系列41. GraphRAG真的是Silver Bullet?
LightRAG:用图结构和双层检索打造更智能的RAG系统
今天分享的是北京邮电大学和香港大学联合发表的一篇文章:图结构数据进行增强的RAG系统——LightRAG
AI研思录
2025/02/20
3340
LightRAG:用图结构和双层检索打造更智能的RAG系统
GraphRAG/LightRAG/Kotaemon从0开始构建中医方剂大模型知识图谱问答
今天看到这样一篇文章,文章的标题是【关于AI技术的思考,是 提高 or 降低 | 开发者的职业天花板】,文章的链接:https://cloud.tencent.com/developer/article/2466467 文章很有作者个人的思考,有些见解比较独到,让我深有所思。
zhouzhou的奇妙编程
2024/12/09
1.6K3
使用Elasticsearch进行基于图的 RAG
检索增强生成(RAG)通过将大型语言模型(LLM)的输出与事实数据结合,提升其生成能力。然而,传统的基于文档的RAG存在一些局限,如上下文窗口狭窄和数据不连贯。一个有前景的解决方案是利用知识图谱,结构化地组织实体和关系,以实现更深入、更具上下文的检索。本文探讨了如何利用Elasticsearch高效地实现基于图的RAG,通过动态构建和修剪针对用户查询的知识子图,并将其线性化以供LLM使用,从而在不需要额外基础设施的情况下,实现可扩展性和精确性,为基于事实的AI应用开辟了新的可能性。
点火三周
2025/01/29
2300
使用Elasticsearch进行基于图的 RAG
GraphRAG:终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等!
github:https://github.com/microsoft/graphrag
AI进修生
2024/12/02
5590
GraphRAG:终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等!
知识图谱增强的KG-RAG框架
昨天我们聊到KG在RAG中如何发挥作用,今天我们来看一个具体的例子。 我们找到一篇论文: https://arxiv.org/abs/2311.17330 ,论文的研究人员开发了一种名为知识图谱增强的提示生成(KG-RAG)框架(https://github.com/BaranziniLab/KG_RAG),该框架利用生物医学知识图谱SPOKE与大型语言模型相结合,有效的提升了LLM在医疗领域的问答效果。
JadePeng
2024/04/12
1.4K0
知识图谱增强的KG-RAG框架
大模型「记忆断片」成历史!AI初创全新Zep系统,知识图谱破解上下文诅咒
无论是ChatGPT还是Deepseek,随着大模型性能的提升,其能够处理的上下文也越来越长。但是,一旦超出上下文窗口的限制,大模型就需要重新开一个对话,如同「失忆」一般忘记之前交流的内容。
新智元
2025/02/26
1760
大模型「记忆断片」成历史!AI初创全新Zep系统,知识图谱破解上下文诅咒
2025年RAG开源项目大赏:多款“AI外挂”教你玩转知识增强生成!
传统AI像个“脑子里有信息但不会查”的学生,而RAG框架则是它的知识检索+逻辑推理双引擎!通过组合检索库信息与LLM生成能力,今年的21款开源黑科技让AI不仅能回答基础问题,还能: ✅ 医疗诊断:从病历中提取关键数据辅助判断 ✅ 金融风控:实时分析财报生成投资建议 ✅ 法律咨询:精准定位10万页合同中的条款 ✅ 客服系统:5秒内检索知识库输出个性化回复
AI浩
2025/03/20
1791
2025年RAG开源项目大赏:多款“AI外挂”教你玩转知识增强生成!
Triplex vs. GPT-4:将Graph RAG成本降低98%的革命性模型、知识图谱构建的 SOTA LLM!
知识图谱(例如 Microsoft 的Graph RAG)增强了 RAG 方法,但构建成本高昂。Triplex 可将知识图谱创建成本降低 98%,性能优于 GPT-4,成本仅为 GPT-4 的 1/60。
AI进修生
2024/12/02
1140
Triplex vs. GPT-4:将Graph RAG成本降低98%的革命性模型、知识图谱构建的 SOTA LLM!
推荐阅读
相关推荐
HippoRAG:模拟大脑记忆思索机制的 RAG
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文