腾讯云ES再进化，新特性「智能搜索开发」助力LLM应用落地

腾讯QQ大数据

发布于 2025-05-17 02:58:35

720

本文共计1760字预计阅读时长6分钟

家人们，这次上新可太让人惊喜啦！

腾讯云Elasticsearch（ES）带着全新技能包——「智能搜索开发」闪亮登场，以AI搜索增强版内核为底座，进一步优化了对全文与向量混合搜索的能力支持，从原始文档解析、向量化等原子能力，到查询性能、混合排序效率、搜索结果精准度等提供了全方位的支持和优化，让搜索有了更多想象空间。在此基础上，还可以与混元、DeepSeek等大语言模型无缝集成，从而帮助企业进一步高效、灵活的构建知识问答等RAG应用。

划重点！这次升级主打优势：

混合搜索增强：基于自主研发的文本+向量混合搜索引擎架构，自定义多路召回策略与重排序模型，依托深度优化的底层内核实现查询延时、并发及实时排序全面性能优化，结合多种联网引擎信息采集，让搜索结果精确度起飞。

开发各环节可介入：针对混合搜索或RAG场景，从原始文档解析到返回搜索结果或答案生成，支持客户依据业务需求灵活选择或切换原子服务来优化整体效果，一个技术栈搞定全链路，轻松应对复杂多样的应用搭建和调优。

向量存储与优化：围绕向量存储、索引构成、读写流程、量化等核心技术环节，自研向量裁剪能力，支持去除向量行存以及原始高位向量，大幅节省磁盘空间。

如下是针对这三大优势的详细介绍：

搜索增强：全文+向量混合搜索，搜索结果更精准多样

我们都知道，向量搜索优势在于处理模糊表达、捕捉语义、支持跨文本&跨语言&跨模态，文本搜索优势在于短文本精准匹配强、计算成本低、可解释性及调优性强。混合搜索则结合了全文搜索和向量搜索技术的优势：

更精准：同时利用关键词检索和向量搜索对数据进行查询，提高检索的准确性和可信度。
更多样：利用向量检索的多样性，返回多种不同的检索结果，提供更多的选择和信息，满足不同的用户查询需求和偏好。
更强大：利用关键词检索的逻辑运算、排序、过滤等功能，实现更复杂的查询需求。如包含多个条件、多个字段、多个排序规则等的查询，这可以提高检索的功能和灵活性。
更可解释：利用关键词检索的文本匹配和高亮显示，实现更可解释的检索结果。如显示查询语句和文档的匹配程度、匹配位置、匹配内容等，这可以提高用户对检索结果的理解和满意度。

与此同时，腾讯云ES本身支持常用的中文分词，如IK 分词、QQ分词，同时支持用户上传自定义插件，在内核层面，针对典型向量场景特点做了深度优化，例如分片架构优化，查询并行化，lucene查询缓存锁改造等，10亿级向量检索平均响应延迟控制在毫秒级，整体查询性能提升3 - 10倍，极大程度的提升了混合搜索的效率。

灵活开发：集成多种原子服务，全链路可介入调优

还在手动给文档分段落、标关键词？传统数据预处理堪比“愚公移山”，不同格式，不同排版，费时又容易遗漏重点。还在为Embedding、Rerank选型烦恼？AI搜索或 RAG涉及环节众多，牵一发而动全身，如何快速验证端到端效果最佳？

腾讯云ES为此做了以下努力：

深度融合LKE文档解析引擎（优图实验室自研），支持PDF、Word、PPT等超20类文档解析。
基于LLM的多级语义切分技术，实现「上下文连贯切片」，避免信息碎片化。
支持一系列经典的Bge Embedding/Rerank模型，同时加持腾讯自研Conan和KaLM模型。
无缝调用DeepSeek和混元系列大模型，同时配备Sogou/Bing/Baidu联网搜索，并支持指定域名联合查询。

为了进一步提升易用性，腾讯云ES还在内核层面集成Inference API，简单一行配置，即可切换不同模型进行推理服务，在一条DSL完成检索生成。

向量优化：行存裁剪+量化裁剪+多策略融合排序

除了本身Elastic官方在向量搜索上的大幅优化动作外，腾讯云ES还自研了一个全新的插件 —— v-pack插件，旨在通过给“数据瘦身”+“多策略排序”组合拳，在降低成本的同时提供更加丰富、强大的向量能力。

v-pack插件动态裁剪行存中的冗余向量，相比传统ES把向量数据同时塞进行存和列存，可无损压缩70%+存储。同时在行存裁剪基础上，首创int8_only_hnsw索引，把高精度向量“脱水”成int8格式存储，存储进一步节省90%！

更妙的是，在重排序策略上，支持权重可调RRF、归一化Score以及调用GPU Rerank模型服务，无论是关键词与语义之间的平衡，还是对可解释性、准召率要求较高的场景，都能介入调优。

现在上车，解锁智能搜索开发新姿势！

作为国内领先的企业级文本和向量搜索引擎，以及首个端到端RAG技术标准制定者和测评者（信通院权威认证），腾讯云ES在AI 快速发展的潮流下，已成功助力微信读书「AI问书」、ima（智能工作台）、腾讯会议智能助手等顶流应用落地，帮助到这些产品的文本和向量混合检索能力，助力RAG应用搭建，支持了数十亿向量规模的同时达到毫秒级响应性能。未来我们也将持续打磨全链路智能搜索开发能力，协助企业高效、灵活的打造更多优秀的AI搜索应用。