RAG技术：是将知识库的文档和问题共同输入到LLM中

RAG技术

RAG技术是将知识库的文档和问题共同输入到LLM中

RAG技术是先从知识库中检索出与问题相关的文档片段，然后将这些检索到的**文档片段与问题**一起输入到LLM中进行回答。具体过程如下：

文本分块

由于LLM的上下文窗口有限，需要将**长文本资料分割成较小的块**，以便LLM能够有效地处理。

嵌入及存储块到向量数据库

使用向量嵌入技术为每个文本块生成向量表示，并存储这些向量到向量数据库中。

检索

当用户提出查询时，系统利用向量数据库进行检索，找到与查询语义上最相似的文本块。

生成回答

将**检索到的文本块与用户的问题**一起作为LLM的输入，LLM根据接收到的上下文信息和问题生成回答。

RAG技术即检索增强生成技术，是一种将**检索系统与生成模型相结合的技术架构**，利用**向量数据库从外部知识库中检索相关信息**，**增强大模型生成的能力**。以下是一些具体应用的例子：

客户服务领域

某大型电信运营商的智能客服系统采用了RAG技术。当用户咨询“如何办理5G套餐变更业务”时，系统首先将问题向量化，然后在知识库中检索相关的业务文档、常见问题解答、用户手册等内容。知识库中可能存在多篇相关文档，如“**5G套餐变更流程介绍**”“**线上线下办理5G套餐变更的方法对比**”等。

检索到这些内容后，系统将**其与用户的问题一起输入到生成模型**中，生成模型根据这些信息和自身的语言理解能力，为**用户生成详细、准确的回答**，

如“您可以通过我们的手机营业厅APP，在套餐变更页面选择5G套餐并按照提示进行操作，也可以前往附近的营业厅，由工作人员为您办理，办理时请携带有效身份证件”等。

医疗健康咨询领域

在线医疗平台上，用户描述“我最近经常头痛，还伴有恶心的症状，是怎么回事”。系统会将该问题向量化后在医学知识库中进行检索，知识库包含大量的**医学文献、临床案例、疾病诊断指南**等。

可能检索到“偏头痛的症状及诊断方法”“颅内压增高导致头痛恶心的原因及治疗”等相关信息。然后将这些检索到的内容和用户的问题一同提供给生成模型，生成模型据此为用户生成个性化的建议。

如“头痛伴恶心可能是多种原因引起的，偏头痛通常会有单侧头部搏动性疼痛、畏光、畏声等症状，颅内压增高也可能导致此类情况，建议您及时就医，进行详细的检查，如头颅CT等，以明确病因”。

智能写作助手领域

当用户需要创作一篇关于“人工智能在金融领域的应用与风险”的文章时，RAG系统会在金融知识库中检索相关的资讯、研究报告、行业分析等。比如检索到“人工智能在金融风险防控中的应用”“人工智能算法对金融市场的影响”“金融领域应用人工智能面临的数据安全风险”等内容。然后将这些内容与用户的写作主题一起输入到生成模型中，生成模型会根据这些丰富的素材进行创作，生成一篇内容全面、有深度的文章，如“随着科技的飞速发展，人工智能在金融领域的应用日益广泛，从风险防控到投资决策，都发挥着重要作用。然而，其在带来便利的同时，也潜藏着数据安全、算法偏见等风险……”。