“阅读本文大概需要5分钟。
你好,我是测试蔡坨坨。
随着AI热度愈发火热,越来越多的产品在AI的“赋能”下不断革新和进化。
AI技术的飞速发展不仅改变了人们的生活方式,也大大提升了各行各业的生产效率和创新能力。
在此背景下,我们不妨自己动手丰衣足食,搭建一套属于自己的本地的AI ChatBot
?顺便学习下“高大上”的AI技术,亲身体验和把握这股“科技潮流”?
本篇,我们将通过全局的视角来看一下 “基于本地上传的文档进行QA问答”
类似的案例,需要学习哪些知识点以及会用到哪些技术栈。
目前,根据我所了解到的知识,市面上深层次的ChatBot主流实现框架基本都是大同小异。
本地大模型 + LangChain + 前端界面
结合RAG框架:上传本地文件 + 文件切片 + Embedding向量编码 + LLM大语言模型
从本地加载文档
(upload & loader),比如:pdf、txt、csv、md等
从许多不同来源加载文档,LangChain提供了100多种不同的文档加载器。提取文档信息
文本切分
文本块
Embedding向量编号
Embedding这里我们会用到很多模型,比如可以调用OpenAI的接口(收费),还可以用HuggingFaceHub(免费)等。向量数据库
中
例如:Faiss、Pinecone、Chroma、Milvus等。提问
,输入一个问题Embedding
编码相似性计算
,即用户的提问跟数据库里哪些文本的相关性最高文本召回
,把达到某一个阈值的相关文本全部召回上下文的模板
向大模型LLM提问
答案
这种实现方式有什么好处呢?
以上,完。
脚踏实地,仰望星空,和坨坨一起学习软件测试,升职加薪!