首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >检索增强生成(RAG)

检索增强生成(RAG)

作者头像
@小森
发布2025-01-03 10:00:19
发布2025-01-03 10:00:19
64400
代码可运行
举报
文章被收录于专栏:xiaosenxiaosen
运行总次数:0
代码可运行

检索增强生成(Retrieval-Augmented Generation, RAG)是一种结合了检索机制和生成模型的先进技术,旨在提高自然语言处理系统的准确性和上下文相关性。本文将详细介绍如何从零开始构建一个RAG系统,包括数据处理、检索、生成以及部署等各个环节。

💢RAG系统的核心组件

一个完整的RAG系统通常由以下几个核心组件构成:

  • 索引管道:负责数据的摄取和预处理,创建向量嵌入,并将其存储在快速访问的向量数据库中。
  • 检索管道:根据用户的查询从已索引的数据库中检索最相关的信息,使用检索策略和重排序方法来优化结果。
  • 生成管道:将检索到的数据与用户的查询结合,生成准确、相关且连贯的响应。

💢构建RAG系统的步骤 

1. 数据摄取与预处理

在构建RAG系统之前,需要准备好用于训练和检索的数据。这通常包括以下步骤:

  • 数据收集:选择合适的数据源,例如文档库、API或数据库,以确保信息的相关性和时效性。
  • 数据清洗:去除冗余信息,处理缺失值,并确保数据格式一致,以便后续处理。
  • 文本分块:将长文本分割成较小的块,以便于后续的嵌入和检索。

2. 向量嵌入生成

向量嵌入是RAG系统的基础,它将文本数据转换为数值表示,使得计算机能够理解其语义。可以使用以下方法生成嵌入:

  • 选择嵌入模型:使用如BERT、SentenceTransformers等预训练模型来生成文本嵌入。根据应用场景,可以对模型进行微调以提高特定领域的准确性。
  • 存储向量:将生成的向量存储在高性能向量数据库中,如Pinecone或Weaviate,以支持快速相似性搜索。

3. 检索过程

在用户提交查询后,RAG系统会执行以下步骤:

  • 查询预处理:对用户输入进行清洗和标准化,例如去除停用词、词形还原等,以提高检索效果。
  • 生成查询嵌入:将预处理后的查询转换为向量表示,以便与数据库中的文档进行比较。
  • 执行检索:利用向量数据库执行相似性搜索,从中获取与用户查询最相关的文档片段。

4. 上下文整合与生成响应

一旦获得相关文档,RAG系统将执行以下操作:

  • 上下文整合:将检索到的信息与用户查询结合,形成一个丰富的上下文提示,这一步骤对于生成准确响应至关重要。
  • 调用生成模型:使用大模型(如GPT系列)来生成最终响应。此时,模型会依据整合后的信息生成更加准确且上下文相关的答案。

💥常用RAG工具

  1. Haystack
    • Haystack是一个强大的开源框架,支持多种文档存储方案(如Elasticsearch、FAISS等),并与多种语言模型无缝集成。
  2. LangChain
    • LangChain提供了一个灵活的框架,允许开发者快速构建和管理链式应用程序,适合用于RAG系统的构建。
  3. RAGFlow
    • RAGFlow是一个用户友好的框架,专注于简化RAG应用程序的开发过程,适合初学者和有经验的开发者。

使用LangChain构建RAG演示

代码语言:javascript
代码运行次数:0
运行
复制
from langchain import hub
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.vectorstores import Chroma
from langchain_openai import ChatOpenAI

# 加载文档并创建向量存储
loader = WebBaseLoader("https://example.com")
documents = loader.load()
vectorstore = Chroma.from_documents(documents)

# 创建检索器
retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 5})

# 创建生成模型
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# 定义RAG链
def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": "What is the role of Microsoft?"}
    | llm
)
response = rag_chain.invoke("What does Microsoft do?")
print(response)

💫构建一个简单的问答系统

代码语言:javascript
代码运行次数:0
运行
复制
pip install langchain openai

创建知识库

创建一个简单的知识库,包含一些常见问题及其对应答案。可以使用Python字典来存储这些信息:

代码语言:javascript
代码运行次数:0
运行
复制
knowledge_base = {
    "What is LangChain?": "LangChain is an open-source framework for developing applications powered by large language models.",
    "What is the capital of France?": "The capital of France is Paris.",
    "Who is the CEO of OpenAI?": "As of 2023, Sam Altman is the CEO of OpenAI."
}

创建提示模板

接下来,我们创建一个提示模板,用于格式化用户输入并生成查询:

代码语言:javascript
代码运行次数:0
运行
复制
from langchain import PromptTemplate

template = "Answer the following question based on the knowledge base: {question}"
prompt = PromptTemplate(template=template, input_variables=["question"])

创建大型模型实例

代码语言:javascript
代码运行次数:0
运行
复制
import os
from langchain.llms import OpenAI

os.environ["OPENAI_API_KEY"] = "*******"  # 替换为自己的API密钥
llm = OpenAI(model_name="gpt-3.5-turbo")

创建问答链

创建一个问答链,将提示和语言模型结合起来:

代码语言:javascript
代码运行次数:0
运行
复制
from langchain.chains import LLMChain

# 创建问答链
qa_chain = LLMChain(llm=llm, prompt=prompt)

实现查询功能

代码语言:javascript
代码运行次数:0
运行
复制
def answer_question(question):
    # 检查知识库中是否有答案
    if question in knowledge_base:
        answer = knowledge_base[question]
    else:
        answer = "I'm sorry, I don't know the answer to that question."
    
    # 使用LLM生成回答
    result = qa_chain.run(question)
    
    return result

🍺测试:

代码语言:javascript
代码运行次数:0
运行
复制
if __name__ == "__main__":
    user_question = input("Please ask a question: ")
    response = answer_question(user_question)
    print(response)
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-01-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档