基于腾讯云ES混合搜索与HAI部署DeepSeek，快速构建RAG 应用

什么是RAG？

随着数据智能技术的不断发展，以大语言模型（LLM）驱动的AIGC为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分。但在实践过程中，LLM（例如ChatGPT）仍存在不少问题，例如信息更新不及时、垂直领域知识匮乏，且可能产生“幻觉”（即生成不准确的内容）等问题。

检索增强生成（Retrieval-Augmented Generation，RAG）技术是一种结合了检索和大语言模型内容生成的技术方案，它通过引用外部知识库，在用户输入Query时检索出知识，然后让模型基于可信的知识进行用户回答。RAG具有较高的可解释性和定制能力，可大幅降低大语言模型的幻觉，适用于问答系统、文档生成、智能助手等多种自然语言处理任务。

本篇文章，将手把手教你基于腾讯云ES与HAI平台，搭建专属AI知识库与DeepSeek大模型，让你快速拥有一个更安全、更懂你、且不会“服务器繁忙，请稍后再试”的AI助手。

为什么选择腾讯云ES？

腾讯云ES是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack，支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。在RAG方面，腾讯云ES支持了一站式向量检索、文本+向量混合搜索、倒数排序融合、与大模型集成、GPU高性能推理、字段级别权限控制等能力，同时针对查询性能做了大量优化，有效的提升了数据检索效率，目前已落地微信读书“AI 问书”、微信输入法“问 AI”、腾讯地图、腾讯会议、IMA Copilot、乐享智能搜索等大型应用中。

同时，作为国内公有云首个从自然语言处理、到向量生成/存储/检索、并与大模型集成的端到端一站式技术平台，腾讯云ES作为核心参编单位参与了由中国信通院发起的的RAG标准制定，并成为首个通过RAG权威认证的企业。

通过腾讯云ES，你可以根据自身需求，灵活定制知识库的内容与功能， 打造更懂你、更安全、更可控的专属AI助手。

AI 助手构建

购买ES 集群

1、登录腾讯云ES控制台。

2、点击新建：

descript

3、计费模式为按量计费，产品版本为标准版、ES 版本为 8.16.1，高级特性选择白金版

descript

4、ES 节点配置，测试环境可选择为标准型4核8G，节点数为2（生产环境推荐三个以上），磁盘为通用型SSD，磁盘容量为 20GB：

descript

登录Kibana

1、集群创建完成后，点击集群名称，进入访问控制页面，在可视化访问控制设置公网访问策略：

descript

2、获取当前 IP 地址并设置到 IP 白名单中：

descript

3、点击Kibana 公网访问地址访问 Kibana。

部署embedding 模型

集群购买完成后，前往Kibana 部署 Embedding 模型、创建知识库索引与向量化管道：

1、 开启节点出站访问，仅开启数据节点即可，如有专用主节点，仅开启专用主节点即可。（该功能为白名单，请联系工单处理）：

注：如需上传自定义模型或第三方平台（如 Huggingface）模型，可参考GitHub - elastic/eland: Python Client and Toolkit for DataFrames, Big Data, Machine Learning and ETL in Elasticsearch

descript

2、登录 Kibana 之后，在左侧导航栏找到Machine Learning功能：

descript

1. 进入模型管理页面，并找到类型为text_embedding的模型，本次演示我们使.multilingual-e5-small_linux-x86_64模型，这是一个 384 维的多语言模型，点击Download：

descript

4、下载完成后，点击Deploy，弹窗信息使用默认值即可：

descript

创建索引与向量化管道

1、 在Kibana页面点击进入Dev tools：

descript

2、 创建知识库索引：index-name为索引名称，实际可按需命名：

3、创建推理管道，该管道可用于写入数据时进行数据向量化：

上述管道，将字段「content、title」的内容，调用.multilingual-e5-small模型向量化之后存储到新的字段中。

写入知识库数据

通过 Bulk API 批量写入数据，可将 title 、content 、url 的内容替换为实际的知识库数据。

基于HAI平台部署DeepSeek模型

1、登录 高性能应用服务 HAI 控制台

2、单击新建，进入高性能应用服务 HAI 购买页面。

descript

• 选择应用：选择社区应用，应用选择 DeepSeek-R1。
• 地域：选择与ES集群相同的地域，降低网络延迟、提高您的访问速度。
• 算力方案：选择合适的算力套餐。在单并发访问模型的情况下，建议最低配置如下：

• 实例名称：自定义实例名称，若不填则默认使用实例 ID 替代。
• 购买数量：默认1台。

3、单击立即购买。

4、核对配置信息后，单击提交订单，并根据页面提示完成支付。

1. 等待创建完成。单击实例任意位置并进入该实例的详情页面。同时您将在站内信中收到登录密码。此时，可通过可视化界面（GUI）或命令行（Terminal）使用 DeepSeek 模型。此处我们需保存公网IP，以便于通过SDK进行调用。

descript

注：关于HAI部署，详情可参考：高性能应用服务 HAI 快速使用 DeepSeek-R1 模型_

调用DeepSeek大模型

1. Python 文件命名为hai_ds.py。
2. 安装ollama：

3、hai_ds.py内容如下:

AI助手页面构建

1、安装 streamlit与elasticsearch client：

2、 获取 ES 访问地址：

用户名为 elastic、密码在创建集群时设置，用本地mac测试时，可开启公网访问，实际生产时，建议使用内网访问地址。

descript

3、Web界面参考如下代码（ 可命名为 web_ds.py，需与hai_ds.py在一个目录下）

在上述 python 文件的目录下，使用如下命令运行系统：

生成的界面如下：

descript

私域数据问答测试

我们使用“介绍腾讯云elasticsearch service的发展历程”这个问题来对比效果：

1、当索引中无相关数据时，可以看到，AI助手对此问题的回答效果相对比较差：

descript

2、写入相关知识库数据:

3、重新提问，可以看到，完全准确，且基本没有不相关的信息：

descript

可见，使用腾讯云ES与HAI构建基于DeepSeek的RAG应用，可同时结合DeepSeek强大的推理与内容生成能力、腾讯云ES一站式RAG方案以及HAI平台高效的模型部署能力，显著提高答案生成的准确性、可靠性，有效避免大模型的幻觉问题，为企业提供更加优质的本地知识库智能问答服务。

总结

本文介绍如何通过结合腾讯云ES 与DeepSeek大模型，快速构建RAG 应用。腾讯云ES凭借其在传统PB级日志和海量搜索场景中积累的丰富经验，通过深度重构底层系统，成功地将多年的性能优化、索引构建和运营管理经验应用于RAG领域，并积极探索向量召回与传统搜索技术的融合之道，旨在充分发挥两者的优势，为用户提供更加精准、高效的搜索体验。未来，腾讯云ES将持续深耕智能检索领域，在成本、性能、稳定性等方面持续提升，帮助客户降本增效的同时实现业务价值持续增长，欢迎持续关注！