文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
社区首页 >专栏 >搜索引擎打分机制揭秘：TF-IDF 和 BM25 真的在做“向量化”吗？

搜索引擎打分机制揭秘：TF-IDF 和 BM25 真的在做“向量化”吗？

作者头像
阿飞爱Coding
修改于 2025-12-05 17:23:02
修改于 2025-12-05 17:23:02
1630
举报
概述
不是向量相似度，而是基于倒排索引的动态统计打分

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

搜索引擎

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

搜索引擎
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
目录
  • ❓ 一个更隐蔽的误解：搜索引擎会把“索引词”变成向量吗？
    • 那什么时候词才会被向量化？
  • 🔍 那 BM25 到底怎么打分？我们一步步拆解
    • 第一步：看一个词在文档里出现的次数（TF）
    • 第二步：看这个词有多“稀有”（IDF）
    • 第三步：考虑文章长短（长度归一化）
  • 📐 把上面的逻辑变成公式
    • 📊关于“文档的平均长度“的说明
    • 🧪 举个真实例子
      • 1️⃣ 先算 IDF（衡量稀有度）：
      • 2️⃣ 再算 TF 的“有效得分”（考虑饱和和长度）：
      • 3️⃣ 最终这个词的贡献分：
  • 🔁 闭环流程：从你的搜索词到最终排序结果
    • 步骤 1️⃣：查询解析与分词
    • 步骤 2️⃣：查倒排索引，获取候选文档集合
    • 步骤 3️⃣：对每个候选文档，计算总分
      • 举个例子：
    • 步骤 4️⃣：返回排序结果
    • 🧩 补充：布尔逻辑与打分的关系
  • ✅ 关键结论（再说一遍）
  • 🧠 什么时候才用“向量化”？
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论