Elasticsearch:命中过多时条件排序/禁用排序
Elasticsearch是一个开源的分布式搜索和分析引擎，它被广泛应用于各种大规模数据的搜索、实时分析和数据可视化场景。在处理大量数据时，Elasticsearch提供了一些方法来优化查询性能，其中之一是命中过多时的条件排序或禁用排序。
当查询结果命中的文档数量非常大时，排序操作可能会成为性能瓶颈。为了解决这个问题，可以通过以下两种方式来优化查询性能：
- 禁用排序：在某些场景下，排序并不是必需的，可以通过设置
"sort": false来禁用排序操作。这样可以减少查询的时间和资源消耗，提高查询性能。但需要注意的是，禁用排序可能会导致查询结果的顺序不确定。 - 使用条件排序：条件排序是一种在命中过多时，只对满足特定条件的文档进行排序的方法。通过使用条件排序，可以减少排序操作的数量，从而提高查询性能。条件排序可以通过在查询中添加
"sort"字段，并指定条件表达式来实现。例如，可以使用"sort": [{"_score": "desc"}, {"field": "asc"}]来先按相关性得分降序排序，然后再按指定字段升序排序。
对于Elasticsearch的优势和应用场景，可以总结如下：
优势：
- 高性能：Elasticsearch使用倒排索引和分布式架构，能够快速地进行全文搜索和复杂的查询操作。
- 可扩展性：Elasticsearch支持水平扩展，可以轻松地添加或移除节点，以适应不断增长的数据量和查询负载。
- 实时性：Elasticsearch能够实时地索引和搜索数据，适用于需要实时更新和查询数据的场景。
- 强大的查询功能：Elasticsearch提供了丰富的查询语法和灵活的过滤器，可以满足各种复杂的搜索需求。
- 分布式架构：Elasticsearch使用分布式架构，数据被分片存储在多个节点上，提高了数据的可靠性和可用性。
应用场景：
- 日志分析：Elasticsearch可以快速地索引和搜索大量的日志数据，方便进行实时的日志分析和监控。
- 电商搜索：Elasticsearch可以提供快速、准确的商品搜索功能，支持关键字匹配、过滤器、排序等功能。
- 实时监控：Elasticsearch可以实时地索引和搜索监控数据，方便进行实时的系统监控和告警。
- 数据可视化：Elasticsearch可以与Kibana等工具结合，实现数据的可视化和仪表盘展示。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Elasticsearch：https://cloud.tencent.com/product/es
- 腾讯云日志服务CLS：https://cloud.tencent.com/product/cls
- 腾讯云云监控：https://cloud.tencent.com/product/monitoring
相关·内容
我使用的是Elasticsearch 6.2，我有一些查询可以分析大量的文档。我正在对索引中的一个字段进行排序。Elasticsearch检查10.000个文档(默认配置值)，然后将它们分页返回。
我试图阅读文档，但如果数据库在对索引中的文档进行分析过程之前或之后应用排序，则无法找到任何信息。
换句话说，排序是在索引分析期间直接应用的，还是在分析后对文档进行排序？如果最后一个选项是正确的，哪种排序会在扫描期间应用Elasticsearch？
非常感谢。
浏览 2提问于2018-12-10得票数 2
1回答
角度2中可观测阵列的火基列表对象
、、、、
我已经将集成到了我的Range2项目中。手电筒的用途如下：
自动将指定的Firebase路径索引到ElasticSearch群集，并监视这些路径的更改，重新索引任何更改。
响应写入指定Firebase路径(例如“搜索/请求”)的查询对象，将ElasticSearch响应写入指定的防火墙路径(例如，“搜索/响应”)。
响应被写入具有以下结构的Firebase：
使用Angularfire 2，我的搜索结果如下：
searchThreads(term: string) {
let queryBody: Object = {
index: '
浏览 2提问于2017-01-26得票数 1
回答已采纳
我需要通过Spring boot API从ElasticSearch获取数据生成一个报告。
因此，我需要从Elasticsearch获取超过40K条记录。如何在一个GET API中检索所有结果/数据？
请任何人能给我一个例子或解决方案或指导/建议我，我如何才能检索GET search查询的所有数据？
提前谢谢。
浏览 0提问于2021-02-15得票数 0
我所需要的是非常简单的，但是我无法找到如何在Elasticsearch中完成它，可能是因为所需要做的事情的复杂性。
输入(两个示例JSON文档)
{ "car" : 150, "bike" : 300 }
{ "car" : 100, "bike" : 200}
作为回报，我想要的是，当我启动一个搜索查询时，它会返回带有额外字段inventory的文档，该字段定义为汽车和自行车的数量之和。按顺序排列。
样本输出：
hits: [
{ "car" : 150, "bike" : 300, &#
浏览 2提问于2014-10-06得票数 5
回答已采纳
当我想从elasticsearch索引检索大量文档时，我总是使用elasticsearch ()的扫描和滚动技术，如下所示：
conn = Elasticsearch( hosts = HOSTS )
the_query = { 'query': { 'match_all': { } }, 'sort': { 'created_at': { 'order': 'asc' } } } # would like sort the documents according to the 'cre
浏览 0提问于2014-09-04得票数 0
回答已采纳
1回答
我是Elasticsearch的新手，我正在尝试获取所有具有相同移动类型的文档。我找不到相关的问题，现在陷入困境。
curl -XPUT 'http://localhost:9200/sessions/session/1' \
-d '{"useragent": "1121212","mobile": "android", "browser": "mozilla", "device": "computer", "service
浏览 1提问于2016-03-23得票数 0
显示，Elasticsearch查询是查询(从所有服务器查找/得分/排序匹配文档)和获取(返回到服务器并收集匹配文档的内容)的两个步骤。
是否有一种方法只检索已排序的doc_id和得分的列表，但避免获取？我知道可以通过将大小设置为0来避免提取..。但我仍然需要匹配的医生和他们的分数，而这将不会返回任何。
我想我可能可以关闭_source，但是如果搜索的查询部分只知道内部doc_id，并且需要去检索公共doc_id，我不确定它是否能工作。
浏览 3提问于2020-07-15得票数 1
1回答
有没有办法放置一个条件断点，当断点所在的方法从其他指定的方法调用时不会被命中？
(我使用的是IDEA 9.0.1)
浏览 0提问于2010-04-20得票数 1
回答已采纳
我的elasticsearch查询是
{
"bool": {
"should": [
{
"bool": {
"must": [
{
"wildcard": {
"currency.keyword": "*oke*"
}
},
{
"
浏览 0提问于2019-03-06得票数 0
我有一个使用ElasticSearch 6.8的Spring应用程序，我想用最少的停机时间将它迁移到ElasticSearch7.16。我可以做，但迁移的问题是，当我将ES集群从版本6迁移到7时，应用程序中的一些功能会因为中断更改而失败(例如，)。
我还在一个单独的分支中将我的ElasticSearch客户端升级到version 7，我也可以部署它，但是那个客户端不能与ES 6一起工作，所以我不能首先发布应用程序，然后再进行ES迁移。我考虑在几个小时的停机时间内同时进行应用程序部署和ES迁移，但万一出了问题，回滚可能需要太多时间(PROD中有>10 We数据)。
我还是找不到解决这个问题
浏览 10提问于2022-04-15得票数 1
回答已采纳
我使用top_hits聚合来检索文档和计数，我需要检索基于我之前发布的的所有文档，我认为传递size 0就可以了，但它抛出了以下错误。
org.elasticsearch.search.query.QueryPhaseExecutionException: [my-demo][3]: query[ConstantScore(*:*)],from[0],size[10]: Query Failed [Failed to execute main query]
at org.elasticsearch.search.query.QueryPhase.execute(QueryPhase.java:
浏览 0提问于2014-07-28得票数 2
为了减少结果集，我打算使用elasticsearch的特性。
问题是，在使用“结束后”时检索到的文档，是在完整文档集中排序，还是仅在还原返回集中排序？
浏览 2提问于2016-11-04得票数 6
回答已采纳
我们目前正在为我们的记录列表构建一种“最佳”方法，其中我们有一个需求，即根据地理距离和评级一起对记录进行排序。
例如，距离0-1 2km的记录将根据较高的等级进行排序，而1-2 2km的记录也将根据较高的等级进行排序。但任何记录的地理距离为0.95公里，评分为7，另一个记录的地理距离为1.1公里，评分为9，0.95公里的记录将名列前茅。因此，将距离分组为1 1Km距离，然后根据评级对它们进行排序。
如何将其直接应用于elasticsearch。我猜它需要自定义的排序脚本？
浏览 0提问于2015-04-13得票数 0
假设我有一个Subject实体，其中包含一个消息实体列表。我希望能够检索在其"body“属性中包含多个单词(如"elasticsearch”和"data")的"Messages“的所有”Subject“。 我使用spring data elasticsearch来创建NativeSearchQuery。 一种方法是不启用fielddata，并执行几个regexp查询，如下所示 BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();
for (String word : wordsToSear
浏览 27提问于2020-10-12得票数 1
回答已采纳
我使用ElasticSearch1.7，指数化操作需要10到100 was。
在Elasticsearch 2.2上使用完全相同的映射，指数化时间在2s到5s之间！
我使用多线程系统发送HTTP请求(50个同步请求)
有人有解释吗？
编辑映射：我正在尝试插入位置。
浏览 4提问于2016-02-14得票数 0
2回答
当堆栈跟踪中存在特定类时，Intellij中有没有一种方法来创建条件断点？或者，当在此堆栈跟踪中传递特定断点时。
给定的示例:假设我们有一些实用程序方法Utils.doSomething()，我只想在此方法从SomeClass.doSomething()执行时停止。
我知道有“禁用直到命中断点”，但这使得代码在满足初始条件后的任何时候都会停止执行。
示例：
class SomeClass {
void doSomething() {
int y = 1; // Breakpoint here
Utils.doSomething();
Ut
浏览 0提问于2018-11-20得票数 2
我向你提出了一个解决问题的请求。实现elasticsearch项目。我这里有一种不能正常工作的类型。我希望你能帮助我解决这个问题。
下面是我的映射：
这是送往elastica的身体：
{
"body": {
"from", "0",
"fize": "25"
"sort": {
"spolka_text" {
"order": "desc"
浏览 6提问于2017-02-15得票数 0
回答已采纳
我按照这里提到的使用NEST ElasticSearch搜索多个索引的说明进行操作。 How to search inside multiple indices using Nest ElasticSearch? 现在，我只想从匹配结果(命中)中选择每个索引的特定字段。这是不是可以内置到C#本身的查询中呢？
浏览 16提问于2021-05-07得票数 0
回答已采纳
我使用Java。
一次搜索，平均搜索结果为17,000,000次数据，因此i ElasticSearch api使用了滚动方法。
需要进行一次ElasticSearch数据更新。和更新使用需求'_id‘。但是，搜索结果源不包括'_id‘。
我想了个办法！
“我想使用Logstash过滤器将'_id‘包含在ElasticSearch源代码中。”
但是，我不知道ElasticSearch源包含“_id”的方式:( .
救救我！
如果是另外一种方式，请告诉我。
浏览 0提问于2018-10-27得票数 0
回答已采纳
1回答
目前正在构建以下ElasticSearch6.8查询\聚合：
{
"sort": [
{
"DateCreated": {
"order": "desc"
}
}
],
"query": {
"bool": {
"must": [
{
"match": {
"InternalEntityId": "
浏览 3提问于2020-02-06得票数 0
我曾与Elasticsearch合作过，并在Internet上做过一些研究--如何使用特定的文本查询数据，以及如何使用Elasticsearch客户端API在时间戳范围内查询数据。现在，我想将这两个查询合并在一起。让我们说，搜索一个特定的文本，并在一个特定的时间戳范围内。有人能告诉我如何使用Elasticsearch客户端API来实现吗？感谢先进的！我在网上搜索过，但仍然不能将这两个查询合并为一个:-(
浏览 2提问于2014-04-28得票数 0
回答已采纳
我正在使用NEST(c#)与Elasticsearch通信。然而，结果不是基于命中分数，我如何根据命中分数对我的结果进行排序，而且我只获得了10条记录。下面是我的代码示例
var result = client.Search(q => q
.Index(IndexName)
.From(0)
.Type("post")
.Fie
浏览 1提问于2014-04-11得票数 3
运行代码，
from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search, Q, A
client = Elasticsearch(timeout=100)
s = Search(using=client, index="cms*")
s.aggs.bucket('ExitCode', 'terms', field='ExitCode').metric('avgCpuEff', 'avg', field=
浏览 5提问于2016-08-04得票数 0
回答已采纳
我的代码：
$test1 = '{
"query": {
"query_string": {
"query": "*"
}
},
"aggs": {
"AGE": {
"filter": {
浏览 0提问于2017-06-26得票数 0
1回答
我使用ElaticSearch 1.7.2作为我的项目，奇迹插件用于测试查询。我的查询模板如下：
GET myindex/_search
{
"query": {
"filtered": {
"query": {
"bool": {
"minimum_should_match": 1,
"should": [
{
"nested": {
浏览 5提问于2015-11-17得票数 0
我想将清单文件从SCORM 1.2转换到SCORM 2004第三版。SCORM2004第三版中SCORM1.2 <adlcp:prerequisites>元素的对应元素是什么？
浏览 3提问于2012-05-14得票数 1
回答已采纳
我的角色中的大部分任务应该在角色包含的任何时候运行，但是，有几个任务我希望只有在显式调用时才能运行。
例如，在我的roles/elastic/tasks/main.yml文件中，我有很多任务确保目录存在配置logstash和elasticsearch。
现在我想要创建一组新的任务来初始化elasticsearch。也就是说，它删除现有数据并创建/重新创建架构。
我知道标记，但如果在运行角色时不包括标记，我不希望所有任务都是偶然运行的。
为了运行剧本，我使用了ansible-playbook logserver.yml。
logserver.yml看起来是这样的：
- hosts: localh
浏览 5提问于2017-07-07得票数 2
回答已采纳
当我在elasticsearch中阅读From / Size的理论时。
问题是如何确定搜索的范围。例如，如果我生成了1.000条记录，则将其作为以下代码片段进行查询：
{
"from" : 100, "size" : 10,
"query" : {
"term" : { "user" : "kimchy" }
}
}
它将在记录100到1.000的范围内进行搜索，然后返回10个结果？或者它会自动生成合适的范围并返回10个结果？有人能帮我解决这个问题吗？致以最
浏览 1提问于2016-09-08得票数 0
可以在spring data elasticsearch中设置readTimeout吗？
场景:我的应用程序试图使用elasticsearch模板查询elasticsearch，但有时它占用了很多时间，请求堆积如山。请不要将其与客户端ping超时混淆。在elasticsearch中有2-3个Cr文档，在我的应用程序上大约是100 rps。提前谢谢。
浏览 0提问于2017-03-21得票数 1
当试图使用Java连接到Elasticsearch 2时，我得到了以下错误。
Settings settings = Settings.settingsBuilder().put("cluster.name", Receptor.clusterName).build();
TransportClient transportClient = TransportClient.builder().settings(settings).build();
Client c = null;
try {
c = transportClient.addTransportAddress
浏览 3提问于2015-11-13得票数 10
回答已采纳
我们目前正在将系统从ElasticSearch 6.8.8升级到ElasticSearch 7.17。当我们使用Java运行分页查询时，结果是不正确的。例如，在6.8.8版中，如果我们使用页大小为10的数据查询并请求页2，则查询将返回第2页上的10项，并给出10000条记录的totalElement，这是正确的。当我们在7.17版本上运行相同的查询时，它会在第2页上返回10个条目，但只给出一个10的totalElement，而不是正确的数字。我们需要正确的编号，这样我们的网格视图就可以正确地处理分页。在ElasticSearch版本7.17中是否缺少一个设置？
浏览 6提问于2022-08-23得票数 1
我在java中将elasticsearch响应存储为字符串值，如何仅处理命中数据
浏览 56提问于2019-01-17得票数 1
回答已采纳
是否可以在调试时获得一个断点，以便每次访问某个类时都停止，否则它将正常运行。
如果您不想停止jquery函数或其他公共库函数，而希望停留在特定的js文件上，但不知道会发生什么错误，那么就不希望显式地在js文件的每一行上设置一个断点来捕获该文件中的所有访问，这是非常常见的用例。对于该调试功能，Chrome DevTools有任何选项吗？
更新：
或者，如果应该有一个断点，那么还可以通过忽略jquery这样的整个库来获得类似的功能，这样调试器就只能处理其他文件了？这仍然不是最好的解决方案，但无论如何节省了很多时间。
Update2：
第二种方法是描述，但我有Chrome 26，不幸的是不能在接下来
浏览 2提问于2013-11-29得票数 4
2回答
在自定义舵图中禁用子图表
、、、
我已经用elastic-stack创建了一个自定义舵图，作为一个子图表，具有以下配置。
# requirements.yaml
dependencies:
- name: elastic-stack
version: 1.5.0
repository: '@stable'
# values.yaml
elastic-stack:
kibana:
# at this level enabled is not recognized (does not work)
# enabled: true
# configs like env,
浏览 1提问于2019-03-25得票数 4
我需要从elasticsearch中检索所有记录，并对数据进行统计分析。记录的数量并不是那么高的500000条记录。每条记录有7列，其中5列是字符串类型(单字值)。所以对我来说，数据的大小并不是很大。当我执行以下代码时，我得到了‘内存不足异常’：
SearchResponse response = client.prepareSearch(indexFrom).setTypes(typeFrom)
.setQuery(matchAllQuery()).setSize(SIZE)
.execute().actionGet();
SIZE=50000
浏览 1提问于2014-08-22得票数 0
在search_after API的Elasticsearch中，他们说要使用一个具有唯一值的字段，但是他们“不建议使用_id字段”。有人能解释这背后的原因吗？
编辑：包括链接
浏览 3提问于2021-07-26得票数 0
我正在尝试弄清楚如何根据关键字匹配来过滤非常大的文档集。
我的20+million数据库中有带有ID和(几个)文本字段的SQL项，我希望获得文本与一组关键字匹配的所有ID。这包括更复杂的表达式，如：
(term1 NEAR term2 NEAR term3) AND NOT "A phrase" AND @fieldXYZ "wildcards%aswell*"
结果不需要以任何方式进行评分、排序或排名。
据我所知，Lucene/Solr、Sphinx和ElasticSearch的强大之处在于能够超级快速地返回顶级文档，但它们并不是真的打算返回所有文档。
我知
浏览 1提问于2015-01-16得票数 4
有没有办法在给定模型的集合中进行搜索？ 我使用elasticsearch_rails gem。 我的意思是，我有一个产品，我想返回其中包含特定变体的产品(产品有许多变体)。 例如，我想做这样的事情： @product = Product.__elasticsearch__.search(query: {
match: {
slug: params[:slug],
"variants.id": params[:variant_id]
}
}) 我想要得到的是在variants id中只指定了
浏览 14提问于2019-03-12得票数 0
回答已采纳
1回答
我有一个排序的ArrayList地图，我是排序的基础上的地图键！我注意到，当两个对象具有等价的排序条件时，这两个对象就会被随机排序！是否有人解释过这种情况是如何处理的，以及是否有办法这样做，以便如果一个新元素与现有元素具有相同的排序条件，那么它将在随后出现？
浏览 0提问于2015-09-09得票数 0
回答已采纳
搜索和搜索有什么区别？
>>> Search
<class 'elasticsearch_dsl.search.Search'>
>>> search
<module 'elasticsearch_dsl.search' from '/usr/local/lib/python2.7/dist-packages/elasticsearch_dsl/search.pyc'>
从Search()中我得到了elasticsearch_dsl.search.Search对象。从Elsasticse
浏览 31提问于2017-06-29得票数 0
回答已采纳
我在我的RoR应用程序上使用elasticsearch-模型来执行搜索并对结果进行排序。我可以执行查询并返回未排序的结果，但是当我添加排序时，所有内容都会中断：
Elasticsearch::Transport::Transport::Errors::BadRequest: [400] {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Fielddata is disabled on text fields by d
浏览 5提问于2018-01-30得票数 1
回答已采纳
当我尝试索引数据然后执行查询时，一切都很好，但如果我启动应用程序并在没有索引的情况下执行查询，则会出现该错误
Exception in thread "main" org.elasticsearch.action.search.SearchPhaseExecutionException: Failed to execute phase [query_fetch], all shards failed at org.elasticsearch.action.search.type.TransportSearchTypeAction$BaseAsyncAction.onFirstP
浏览 0提问于2014-09-03得票数 13
回答已采纳
2回答
码头弹性搜索
、、
我运行了下面的docker脚本，我期望两个节点能够运行，但是这只是一个节点。似乎有一些明显的错误。
摘自
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.8.12
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
-
浏览 2提问于2020-08-21得票数 0
回答已采纳
elasticsearch查询中的大小表示否。我们要去拿的文件。track_total_hits是什么？如果我们设置track_total_hits 10，大小为10，那么我就得到了10个结果。
浏览 11提问于2022-11-18得票数 0
回答已采纳
所以我今天遇到了这个问题，我的MongoDB查询速度非常慢，并且超时。我发布了这个问题- ，他的建议是正确的，其中我必须ensureIndex并删除大小写不敏感。我在Mongo shell中尝试过，它工作得很好。
然而，当我通过PHP运行它时，它仍然是一样的:(然后我意识到查询在"id“(而不是_id)字段上有一个排序，当我删除它时，事情变得非常迅速。但对于这种类型，它真的很慢。我已经在id字段上建立了索引。这是查询btw：
db.tweet_data.find({
... $or:
... [
... { in_reply_to_
浏览 0提问于2012-07-29得票数 6
1回答
当我选择网格所在的页面时，我使用一个对象数据源来填充网格，它输入方法select和selectcount，但是在排序时它给了我找不到的列。奇怪的是，我在方法select上有一个断点，如果我试图按fiedl排序，参数sSortColumn应该有列id，它应该输入断点，但它没有。
这是我的网格和对象数据源
<ig:WebDataGrid ID="WebDataGridAutAssiduidade" runat="server" AutoGenerateColumns="False" Width="100%"
Heigh
浏览 0提问于2014-09-09得票数 0
回答已采纳
我正在学习Magento2，我有一个与ElasticSearch一起工作的项目，我不知道Magento2如何与ElasticSearch一起工作。你能告诉我它是怎么工作的吗？因为我混淆了马根托的排序和弹性的排序。
如何按功能进行精确排序？
1.1。当我按价格或名称排序时，产品的集合是按Magento或ElasticSearch排序的？
Magento是否支持使用ElasticSearch对产品进行排序？
当按相关性排序时，产品集合是按弹性或马根托排序的吗？
如果Magento不支持使用ElasticSearch的排序属性，我应该做些什么来改进它
我使用了Magento2
浏览 1提问于2017-06-06得票数 3
回答已采纳
1回答
我使用以下查询：
NativeSearchQuery nsq = new NativeSearchQueryBuilder()
.withQuery(qb)
.withPageable(PageRequest.of(page, PAGE_SIZE))
.withSort(sb)
.build();
使用以下SortBuilder：
SortBuilders.geoDistanceSort("customer.address.geoLocation",
customer.getAddress().getGeoLocation().
浏览 6提问于2019-12-07得票数 0
回答已采纳
我有以下查询--这个查询工作正常(这可能不是实际的查询)：
{
"query": {
"bool": {
"must": [
{
"nested": {
"path": "location",
"query": {
"geo_distance": {
"distance": "1
浏览 8提问于2020-12-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
