Elasticsearch index 设置 false，为什么还可以被检索到？

在 Elasticsearch 中，mapping 定义了索引中的字段类型及其处理方式。

近期有球友提问，为什么设置了 index: false 的字段仍能被检索。

本文将详细探讨这个问题，并引入列式存储的概念，帮助大家更好地理解 Elasticsearch 的存储和查询机制。

1、问题描述

我们创建了一个名为 my-index-000001 的索引，并为其添加了一个名为 employee-id 的字段，该字段的 index 属性被设置为 false。

按理说，这个字段不应该被索引，也不应能被检索，但在执行查询时，却能检索到该字段。这是为什么呢？

PUT /my-index-000001
{
  "mappings": {
    "properties": {
      "employee-id": {
        "type": "keyword",
        "index": false
      }
    }
  }
}

POST /my-index-000001/_doc/1
{
  "employee-id": "1111"
}

POST /my-index-000001/_search
{
  "query": {
    "term": {
      "employee-id": "1111"
    }
  }
}

问题来源：https://t.zsxq.com/GuwKP

2、原因分析

在 Elasticsearch 中，index 选项控制字段值是否被索引。

默认情况下，所有字段都是被索引的 (index: true)。当 index 设置为 false 时，字段不会被索引，因此不能通过常规查询方法高效地检索该字段。

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-index.html

然而，对于某些特定类型的字段，即使设置了 index: false，它们仍然可以通过 doc_values 进行查询。

这其实就是咱们的问题所在！

这些特定字段类型包括：

• 数值类型（Numeric types）
• 日期类型（Date types）
• 布尔类型（Boolean type）
• IP 类型（IP type）
• 地理点类型（Geo_point type）
• 关键字类型（Keyword type）

对于这些类型的字段，即使 index 设置为 false，只要 doc_values 启用，它们仍然可以被查询。

查询效率会较低，因为需要对整个索引进行全扫描（full scan）。

3、列式存储概述

列式存储（Columnar Storage）是指将每个字段的数据独立存储，这种存储方式不同于传统的行式存储。

在数据仓库和大数据处理系统中，列式存储优化了读取和分析操作。

以下是一些常见的列式存储格式及其应用：

• Parquet：广泛用于 Apache Hadoop 生态系统中的数据处理，提供高效的存储和压缩。
• ORC（Optimized Row Columnar）：主要用于 Apache Hive 和 Hadoop 生态系统，提供优化的列存储格式。
• Cassandra：分布式数据库系统，采用行和列的混合存储方式，支持列级别的高效查询。

列式存储 VS 行式存储

在 Elasticsearch 中，doc_values 是一种列式存储机制，用于存储字段的数据，以支持高效的排序和聚合操作。

这里就是明显区别于“倒排索引”的一种正排索引技术，详细解读参见《一本书讲透 Elasticsearch》P97-P98。

Doc values 是指在文档索引时创建的存储在磁盘数据结构，它们以列式存储的方式保存与 _source 相同的数据，从而大大提高了排序和聚合操作的效率。除文本 text 和带注释的文本（annotated_text ，新类型）字段外，几乎所有字段类型都支持 doc values。

https://www.elastic.co/guide/en/elasticsearch/reference/current/doc-values.html

3.1 列式存储示例：词组数据举例

假设我们有以下文档集合，这些文档包含多个字段，包括 employee-id 雇员 id 序号和 address 地址信息：

[
  {"employee-id": "1111", "name": "Alice", "age": 30, "address": "123 Main St, Springfield, IL"},
  {"employee-id": "1112", "name": "Bob", "age": 25, "address": "456 Elm St, Springfield, IL"},
  {"employee-id": "1113", "name": "Charlie", "age": 35, "address": "789 Oak St, Springfield, IL"}
]

列式存储如下图所示：

当这些文档被索引到 Elasticsearch 中时，启用了 doc_values 的字段会以列式存储的方式独立存储。

假设我们为 employee-id、address 字段启用了 doc_values，其存储结构如下：

employee-id 列存储：

"1111"
"1112"
"1113"

address 列存储：

"123 Main St, Springfield, IL"
"456 Elm St, Springfield, IL"
"789 Oak St, Springfield, IL"

3.2 列式存储查询行为

回到开篇问题，在这种情况下，如果我们对 employee-id 进行查询：

POST /my-index/_search
{
  "profile": true, 
  "query": {
    "term": {
      "employee-id": "1111"
    }
  }
}

由于 employee-id 字段启用了 doc_values，但没有被索引，Elasticsearch 会使用基于 doc_values 的查询机制来处理。

这个查询会遍历 employee-id 列的数据，找到匹配 "1111" 的文档。

这里就分析出了 index:false, 依然可以被检索的原因。

再进一步验证，

PUT /my-index-0606
{
  "mappings": {
    "properties": {
      "employee-id": {
        "type": "keyword",
        "doc_values": true
      },
      "name": {
        "type": "text"
      },
      "age": {
        "type": "integer",
        "doc_values": true
      },
      "address": {
        "type": "keyword",
        "index":false
      }
    }
  }
}


POST /my-index-0606/_bulk
{ "index": { "_id": "1" } }
{ "employee-id": "1111", "name": "Alice", "age": 30, "address": "123 Main St, Springfield, IL" }
{ "index": { "_id": "2" } }
{ "employee-id": "1112", "name": "Bob", "age": 25, "address": "456 Elm St, Springfield, IL" }
{ "index": { "_id": "3" } }
{ "employee-id": "1113", "name": "Charlie", "age": 35, "address": "789 Oak St, Springfield, IL" }


POST my-index-0606/_search
{
  "query": {
    "term": {
      "address": "123 Main St, Springfield, IL"
    }
  }
}

得到结果如下：

这就是基于正排索引做的轮询的结果。

3.3 列式存储的优势和劣势

• 优势：

列式存储使得对特定字段的聚合和排序操作更加高效，因为只需要读取相关列的数据，而不是整个文档的所有字段。

举例说明，假设我们有一个包含员工信息的索引（在之前基础上新增了字段），文档结构如下：

[
  {"employee-id": "1111", "name": "Alice", "age": 30, "salary": 5000, "address": "123 Main St, Springfield, IL"},
  {"employee-id": "1112", "name": "Bob", "age": 25, "salary": 6000, "address": "456 Elm St, Springfield, IL"},
  {"employee-id": "1113", "name": "Charlie", "age": 35, "salary": 7000, "address": "789 Oak St, Springfield, IL"}
]

如果行式存储：读取每个文档时，所有字段数据都被加载，即使我们只关心其中一个字段的数据。

行式存储举例——计算平均薪资时，整个文档（包括 name、age、address 等）都要被读取。如下图所示：

读取整行信息，有点类似 MySQL 如下操作：

SELECT * FROM employees WHERE employee-id = '1111';

返回结果：

{"employee-id": "1111", "name": "Alice", "age": 30, "salary": 5000, "address": "123 Main St, Springfield, IL"}

如果列式存储：只读取特定字段的数据。

列式存储举例——计算平均薪资时，只需读取 salary 列的数据即可，避免了读取无关字段的数据。如下图所示。

列式存储读取一列数据，有点类似 MySQL如下操作：

SELECT age FROM employees;

返回结果：

[30, 25, 35]

• 劣势：对于未被索引的字段，查询效率较低，因为需要遍历整个列的数据来匹配查询条件。

4、结论

通过这些示例，我们可以更清楚地理解 Elasticsearch 中列式存储和 doc_values 的应用。

列式存储使得对特定字段的聚合和排序操作更加高效，但对于未被索引的字段，查询效率较低，因为需要遍历整个列的数据来匹配查询条件。

希望这些解释能帮助你更好地理解 Elasticsearch 的存储和查询机制。

如果你对字段的查询和聚合有特定需求，合理使用 index 和 doc_values 设置可以大大提升性能和效率。