探索 Elasticsearch 8.X Terms Set 检索的应用与原理

1、Terms Set 检索简介

Terms Set查询是Elasticsearch中一种强大的查询类型，主要用于处理多值字段中的文档匹配。

其核心功能在于，它可以检索至少匹配一定数量给定词项的文档，其中匹配的数量可以是固定值，也可以是基于另一个字段的动态值。这种查询方式在处理具有多个属性、分类或标签的复杂数据时非常有用。

2、Terms Set 检索产生背景

Terms Set查询是Elasticsearch 6.1版本中引入的新功能。在6.1版本之前，Elasticsearch提供了多种查询类型，但在处理多值字段时，用户可能需要编写更复杂的查询或使用脚本来实现特定的匹配条件。

引入Terms Set查询的主要目的是为了简化这类场景下的查询处理。使用Terms Set查询，用户可以轻松地找到至少匹配一定数量给定词项的文档，同时支持基于其他字段或脚本动态计算匹配数量。这种查询方式在处理具有多个属性、分类或标签的复杂数据时非常有用。

3、Terms Set 检索应用场景

Terms Set查询在处理多值字段和特定匹配条件时非常有用。

以下是一些常见的应用场景：

标签系统

在具有标签系统的应用中，如博客、社交媒体或新闻网站，用户可能会为内容（如文章、帖子或产品）分配多个标签。使用Terms Set查询，可以找到至少具有一定数量给定标签的内容。这对于筛选和推荐功能非常有用。

搜索引擎

在搜索引擎中，用户可能会输入多个关键词来查找相关内容。使用Terms Set查询，可以根据文档与给定关键词的匹配程度对结果进行排序。例如，可以找到至少匹配用户输入关键词一半数量的文档。

电子商务

在电子商务应用中，产品可能具有多个属性，如颜色、尺寸或品牌。使用Terms Set查询，可以找到同时满足多个属性条件的产品。例如，可以找到至少具有2个指定颜色和3个指定尺寸的产品。

文档管理系统

在文档管理系统中，文档可能具有多个分类或标签。使用Terms Set查询，可以根据文档的分类或标签匹配程度进行筛选。例如，可以找到与给定分类或标签至少匹配一定数量的文档。

技能匹配

在招聘或求职应用中，候选人可能具有多个技能。使用Terms Set查询，可以找到至少具有一定数量给定技能的候选人。这对于筛选和推荐合适的候选人非常有用。总之，Terms Set查询在处理具有多个属性、分类或标签的复杂数据时非常有用。通过灵活地设置匹配数量条件，可以轻松地找到满足特定要求的文档。

4、Terms Set 检索的工作原理

Terms Set查询的基本语法如下：

{
  "query": {
    "terms_set": {
      "<字段名>": {
        "terms": ["<词项1>", "<词项2>", ...],
        "minimum_should_match_field": "<匹配数量字段名>",
        "minimum_should_match_script": {
          "source": "<脚本>"
        }
      }
    }
  }
}

Terms Set查询的工作原理可以分为以下几个步骤：

• 指定要查询的字段名，这个字段通常是一个多值字段，如数组或集合。
• 提供一组词项，用于在指定字段中进行匹配。
• 设置匹配数量的条件，可以有两种方式（二者不可兼得，只能选择其中一个）：
  • 通过 minimum_should_match_field 参数指定一个包含匹配数量的字段名。
  • 使用 minimum_should_match_script 参数提供一个脚本，该脚本可以动态计算匹配数量。
• Elasticsearch会检索匹配给定词项数量要求的文档，并将它们作为查询结果返回。

5、Terms Set 检索应用示例

假设我们有一个电影数据库，每部电影都有多个标签。现在，我们希望找到同时具有一定数量给定标签的电影。

以下是一个使用Terms Set查询的例子：

5.1 数据准备

首先，创建一个名为movies的索引：

PUT movies
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "tags": {
        "type": "keyword"
      },
      "tags_count": {
        "type": "integer"
      }
    }
  }
}

然后，向索引中添加一些电影数据：

POST /movies/_bulk
{"index":{"_id":1}}
{"title":"电影1","tags":["喜剧","动作","科幻"],"tags_count":3}
{"index":{"_id":2}}
{"title":"电影2","tags":["喜剧","爱情","家庭"],"tags_count":3}
{"index":{"_id":3}}
{"title":"电影3","tags":["动作","科幻","喜剧"],"tags_count":3}

5.2 使用Terms Set 检索电影

现在，我们希望找到至少具有2个给定标签（"喜剧"、"动作"和"科幻"）的电影。我们可以使用Terms Set查询来实现这个需求：

基于minimum_should_match_field 检索

 GET /movies/_search
{
  "query": {
    "terms_set": {
      "tags": {
        "terms": ["喜剧", "动作", "科幻"],
        "minimum_should_match_field": "tags_count"
      }
    }
  }
}

上述代码使用 terms_set 查询，在名为 movies 的索引中检索满足动态匹配数量要求的电影，匹配数量由 tags_count 字段决定，查询标签包括"喜剧"、"动作"和"科幻"。返回结果如下，文档1被召回。

再看如下的检索。

基于minimum_should_match_script 检索

GET /movies/_search
{
  "query": {
    "terms_set": {
      "tags": {
        "terms": [
          "喜剧",
          "动作",
          "科幻"
        ],
        "minimum_should_match_script": {
          "source": "doc['tags_count'].value * 0.7"
        }
      }
    }
  }
}

如上检索从名为 movies 的索引中检索至少匹配给定标签（"喜剧"、"动作"和"科幻"）总数70%数量要求的电影，匹配数量由自定义脚本doc['tags_count'].value * 0.7动态计算。“_id”为1和“_id”为3的两个文档被召回。

6、小结

Terms Set查询是Elasticsearch中一种非常强大的查询方式，适用于处理具有多个属性、分类或标签的复杂数据。

通过灵活地设置匹配数量条件，我们可以轻松地找到满足特定要求的文档。

然而，需要注意的是，使用Terms Set查询时可能会遇到性能问题，特别是在处理大量数据时。为了提高查询性能，可以考虑对数据进行预处理，例如使用聚类算法将标签分组，然后根据分组查询文档。