Doris索引和图书馆管理员的烦恼

老刘是市图书馆的管理员，工作了二十年，见过各种奇葩读者。 上周，一位急性子的教授冲进来，要找一本叫《Doris实时数仓》的书。  "您稍等，我帮您找找。"老刘熟练地走向计算机科学区域，开始在书架间穿梭。 十分钟过去了，汗水顺着老刘的脸颊滴下来。 教授开始不耐烦："这效率也太低了吧？我在网上订个外卖都比这快！"  老刘心里苦啊。这座图书馆藏书50万册，虽然按类别分区存放，但同一区域内的书籍排列并不严格按照书名或作者排序。每次找书都像大海捞针，全靠运气和经验。  这个场景，换到数据库世界里，就是没有索引的查询困境。

Doris的"智能图书馆"改造方案

如果图书馆完全没有任何分类系统，所有书籍随机摆放，那找一本书简直是噩梦。你只能从第一个书架开始，一本本地翻看书名，直到找到目标为止。

这就是数据库全表扫描的真实写照。

面对百万、千万甚至亿级别的数据记录，系统只能老老实实地从第一条记录开始逐行检查，直到找到符合条件的数据。

老刘的图书馆虽然有基本的分类，但在具体查找时，效率依然不高。

这就像数据库有了基础的分区，但缺乏更精细的索引机制。

如果让Apache Doris来改造这座图书馆，会是什么样子？

Doris会建立一套完整的"图书定位系统"，不是一种，而是四种不同的查找方式，应对各种复杂的查书需求。

前缀索引与排序键：VIP书架的秘密

Doris的第一招是前缀索引与排序键，直接给图书馆设立了VIP书架。

老刘重新整理了图书馆：把最热门的书籍按照一定规则排序，比如按出版年份和作者姓氏。每36本书做一个标记牌，记录这批书的年份范围。

现在有读者要找"张X1995年"写的书，老刘直接看标记牌："张X的书在12号到15号标记牌之间。"然后直奔那个区域，不用再满馆子乱转。

这就是前缀索引与排序键的威力。它自动维护，不需要额外管理，但效果立竿见影。查找最常用的条件时，速度提升十倍不是梦。

倒排索引：万能查书神器

老刘发现，读者的需求千奇百怪。有人按书名找，有人按作者找，还有人按关键词找。传统的排序方式根本应付不过来。

于是老刘制作了一套"倒排索引卡片"。每个关键词对应一张卡片，卡片上记录着包含这个词的所有书籍位置。

比如"算法"这张卡片上，记录着：

• 《数据结构与算法》：3区15排7层
• 《算法导论》：3区16排3层
• 《算法图解》：3区14排9层

读者一说关键词，老刘直接查卡片，瞬间锁定目标。

倒排索引的强大之处在于，它不仅支持精确查找，还能处理复杂的组合查询。

读者说"我要找讲算法的机器学习书籍"，老刘就把"算法"和"机器学习"两张卡片的结果做交集，立马找到答案。

概率论的魔法：BloomFilter的门卫哲学

图书馆来了一位新助手小王，他的任务很特殊：快速判断某本书在不在某个书架上。

小王的方法很有趣。他给每个书架制作了一张"可能性清单"。这张清单不会告诉你书的确切位置，但能告诉你书肯定不在哪里。

当读者询问《深度学习》是否在A区时，小王看了看清单说："A区肯定没有，去B区找吧。"

这就是BloomFilter索引的工作原理。它可能会误报（说可能有但实际没有），但绝不会漏报（说没有就真的没有）。通过快速排除不可能的选项，大大减少了无效的查找时间。

老刘感慨："这小王虽然有时候不够精确，但确实帮我省了不少腿脚。"

N-Gram索引：模糊查询的救星

最让老刘头疼的是那些"模糊派"读者。他们总是说："我要找一本书，书名里好像有'智能'两个字，具体叫什么忘了。"

传统方法只能把所有书名里带"智能"的书都找出来，工作量巨大。

老刘想了个巧办法：把所有书名拆分成三个字的片段。比如《人工智能原理》拆分成：人工智、工智能、智能原、能原理。然后制作片段索引。

当读者说要找带"智能"的书时，老刘先把"智能"扩展成可能的三字片段：×智能、智能×。然后查找包含这些片段的书架区域，大大缩小了搜索范围。

这种方法让模糊查询的效率提升了数倍。读者再也不用为了想不起完整书名而发愁。

索引选择的实用指南

改造完成后的图书馆，迎来了第一次大考验。

那位急性子教授又来了，这次要找三本书：

1. 一本张X1995年写的技术书（具体书名忘了）

2. 一本2020年后出版的机器学习教材

3. 一本书名里带"深度"字样的书

老刘淡定地开始操作：

第一本书，直接用前缀索引，不到1秒搞定。因为图书按作者姓氏排序，张三的书集中在固定区域。

第二本书，查倒排索引，"机器学习"+"2020年后"两个条件的交集，秒级找到。

第三本书，用NGram索引，搜索包含"深度"的书名片段，2分钟解决。

总用时不到5分钟，教授满意地离开了。

并且，老刘总结了一套"查书宝典"：

最常见的等值和范围查询需求，直接用前缀索引。自动高效，效果最好。

对于其他字段的查询需求，倒排索引是万金油。

虽然占用一些存储空间，但适应性强，支持各种复杂查询。

专门应对模糊查询的，NGram索引是专家。

如果存储空间紧张，BloomFilter索引是不错的折中方案，空间占用小，虽然不如倒排索引精确，但也能显著提升性能。

老刘感慨道："以前找书全靠腿，现在找书全靠脑。索引完全就是给图书馆装了GPS，每本书都有了精确的定位系统。"

结语

回到数据库的世界，小张的遭遇和老刘何其相似。

面对海量数据，没有合适索引的查询就像在没有目录的图书馆里找书，效率低下，体验糟糕。

Doris提供的多种索引类型，正如老刘改造后的图书馆管理系统，每种索引都有其独特的适用场景。

下次遇到查询性能问题，不妨想想老刘的图书馆故事。

你的数据库，是不是也该建个"导航系统"了？