问如何优化elasticsearch中的聚合查询

EN

如果我正确理解，您的查询将执行以下操作：

1. 按key对所有条目进行分组
2. 删除所有分组条目，其中count <= c
3. 清点所有剩余的分组条目

那么SELECT key, count(*)就没用了，因为它再也不会被使用了。您可以简单地使用SELECT 1。

这个查询根本不需要排序。

基本上有3种方法可以加快查询的速度：

1. 找更多的服务器！这个聚合很容易由ES在多个节点上并行执行。
2. 不要在需要时聚合数据，而是使用每天执行一次的后台任务。这个后台任务基本上将创建与您在STORE 2中看到的数据相同的数据。当然，这样您将始终必须交付旧的数据，但它将加快的事情！
3. 预置你的数据！使用一些简单的键值存储(甚至可以只使用ES进行此操作)，然后执行以下操作：

- When a new document is getting inserted: Get its key, and increment the number.
- When a document is getting deleted: Get its key, and decrement the counter.

​

然后基本上有两个存储:一个用于实际文档，一个用于聚合数据，即

STORE 1:
[
  {id: 1, key: foo, ...},
  {id: 2, key: foo, ...},
  {id: 3, key: bar, ...},
  {id: 4, key: baz, ...}
]

STORE 2:
[
  {id: foo, counter: 2},
  {id: bar, counter: 1},
  {id: baz, counter: 1}
]

这样，您就可以在从STORE 1中插入/删除文档时进行聚合。当然，这在插入/删除过程中更耗时，因为每次都必须触摸2个数据存储。

但是现在您可以简单地计数来自STORE 2的条目以获得结果。这将极大地提高此操作的查询性能。

你看:这总是一种权衡。你必须决定你需要什么：

1. 活动数据+高插入/删除性能+慢速聚合
2. 非实时数据+高插入/删除性能+快速聚合
3. 活动数据+慢速插入/删除+快速聚合