Elasticsearch并行批量更新或索引优先
Elasticsearch是一个开源的分布式搜索和分析引擎，它提供了强大的全文搜索、实时分析和数据可视化功能。在云计算领域中，Elasticsearch被广泛应用于日志分析、搜索引擎、数据挖掘和大数据分析等场景。
Elasticsearch的并行批量更新或索引优先是指在进行大规模数据更新或索引操作时，可以通过并行处理来提高性能和效率。具体来说，它包括以下几个方面：
- 并行处理：Elasticsearch支持将大规模数据分成多个批次，并同时处理这些批次，从而实现并行处理。这样可以充分利用多核处理器和集群资源，提高数据处理速度。
- 批量更新：Elasticsearch提供了批量更新的功能，可以一次性更新多个文档。通过批量更新，可以减少网络通信开销和索引操作的次数，提高更新效率。
- 索引优先：在进行数据更新或索引操作时，Elasticsearch可以优先处理索引操作，而不是等待更新操作完成后再进行索引。这样可以保证索引操作的优先级，提高搜索性能和实时性。
Elasticsearch在腾讯云上的相关产品是腾讯云ES（Elasticsearch Service）。腾讯云ES是基于Elasticsearch构建的一种托管式云服务，提供了简单易用的界面和丰富的功能，可以快速部署和管理Elasticsearch集群。您可以通过腾讯云ES来实现并行批量更新或索引优先的需求。
腾讯云ES产品介绍链接地址：https://cloud.tencent.com/product/es
相关·内容
因此，在我的项目中，我使用Elasticsearch的并行批量助手函数添加了批量更新函数。the bulk operations
for success, info in parallel_bulk(self.es, ACTIONS, index=some_index): 我有一个如下的索引函数parallel_bulk(self.es, ACTIONS, index=some_index): 我的问题是，我应该首先使用update函数(将文档字段添加到每条记录上)，还是应该先为所有记录
浏览 20提问于2021-01-07得票数 0
回答已采纳
1回答
我看了关于提高索引性能的网站备忘录。这是站点我使用并行进程或线程。每秒最高30000索引。
我犯了什么错？
浏览 2提问于2013-10-21得票数 3
回答已采纳
我使用Elasticsearch Sink Connector对单个记录进行操作(索引、更新、删除)。
Elasticsearch还有一个/_bulk端点，可用于一次创建、更新、索引或删除多个记录。Elasticsearch接收器连接器是否支持这些类型的批量操作？如果是这样的话，我需要什么配置，或者有没有我可以查看的示例代码？
浏览 0提问于2020-12-16得票数 1
我正在使用neo4j，我想在我的java项目中使用elasticsearch。由于lucene依赖问题，我不能在java api和neo4j中一起使用elasticsearch。我需要在elasticsearch中进行批量更新。我需要知道在elasticsearch中是否有一个用于批量更新的rest api，它接受“要索引的数据”作为rest api调用的参数或主体。
浏览 4提问于2015-03-03得票数 0
1回答
我使用批量更新脚本来更新嵌套字段，但这非常慢：{"script"{"inline":"ctx.为了不对每次更新重复脚本，似乎可以存储脚本，但我无法找到保持“动态”参数的方法。
浏览 2提问于2017-10-18得票数 3
回答已采纳
我希望同样的快照反映在搜索的elasticsearch上。我有以下选择来做同样的事情：
从弹性(使用滚动)获取所有内容，并计算内存中的diff和批量更新(带索引操作的大容量API )--这将要求程序占用两倍的内存来计算diff。批量更新(带索引操作的大容量API )从快照中获取所有未更新的内容(使用UID上的筛选器搜索API，最后一次更新)，并发出另一个批量请求，以软删除diff (带更新操作的
浏览 3提问于2017-04-03得票数 1
回答已采纳
1回答
French“，这将表明Elasticsearch需要应用法语词干规则并去掉法语停用词。如果是这样，那就有点糟糕了，因为我希望能够搜索整个索引，最终提供一个“应该”子句，优先于其他语言的文档。我不知道的是，Elasticsearch是否通过应用索引中到目前为止使用过的每个分析器来构建多个查询。如果没有，我看到的唯一解决方案是根据文档的语言将文档拆分为不同的类型，然后并行执行几个查询，并在客户端使用某种类型的接收器函数来合并结果并根据分数对结果进行排序。但是，即使我可以发送批量</
浏览 0提问于2014-04-25得票数 1
有没有办法告诉logstash删除/更新Elasticsearch中的一些日志条目？看起来Logstash可以对文档进行索引，但我没有找到它可以执行更新/删除操作的证据。如果可能的话，我们可以想象我们可以在Elasticsearch上“记录”操作，并使用Logstash在Elasticsearch中批量输出它们。这样，程序员就不必创建一种机制来对Elasticsearch进行批量操作。
浏览 4提问于2015-04-17得票数 7
回答已采纳
我对Java ThreaPoolExecutor很陌生，我编写了一些任务，以便在弹性搜索中索引文档。通过ThreaPoolExecutor执行该任务，并使其工作正常。} catch (InterruptedException e) { }有人告诉我，我的方法对于弹性搜索中的文档索引来说是完全意义的更新2
请找到我修改过的密码。
浏览 2提问于2018-10-10得票数 1
回答已采纳
我使用ElasticLowLevelClient客户端索引elasticsearch数据，因为它需要作为原始字符串进行索引，因为我没有对POCO对象的访问权限。通过调用以下命令，我可以成功地索引单个对象： new Elasticsearch.Net.PostData<object>(message.MessageJson));
如何使用Elas
浏览 0提问于2018-02-12得票数 2
回答已采纳
我有一个运行在AWS中的ElasticSearch实例，我能够通过MeteorJS应用程序中的JavaScript客户端连接到该实例。创建映射(索引和分析器)或更新映射都没有问题。每当存在对实例的索引、更新或删除请求时，问题就会出现。处理超过200个请求后，ElasticSearch实例开始抛出请求超时错误，代码为408。最初，我认为发出多个单请求才是原因，所以我决定进行批量推送。下面是批量推送请求的代码片段。els
浏览 4提问于2016-04-01得票数 2
由于我对弹性search.how还不熟悉，所以concurrency.How搜索工作中的弹性搜索工作和一个node.Every请求中的写/更新/删除工作是一个接一个地处理，或者它将同时工作。
浏览 3提问于2014-01-28得票数 0
回答已采纳
假设elasticsearch服务器在很短的时间内接收100个任务。有些任务很短，有些任务耗时，有些任务是删除任务，有些任务是插入和搜索查询。elasticsearch如何决定先运行哪些任务以及并发执行多少个任务。
在elasticsearch端是否存在任务执行策略，还是只处理FIFO队列中的所有任务，并允许某些固定数量的任务同时运行？
浏览 1提问于2018-06-11得票数 2
我们运行了一个Google批处理作业，它将数据记录写入一个pubsub管道，并有一个单独的流作业，它使用“pubsub to elasticsearch”流模板从PubSub管道中提取数据，并将更新写入我们的Elasticsearch索引。从PubSub读取并写入Elasticsearch的任务是写入不是流索引的索引。它实际上需要在索引中更新相同的文档，可能会多次更新。
这项工作需要写入流索引吗？N
浏览 16提问于2022-09-15得票数 0
3回答
我被阻止将文档索引到ElasticSearch中。我正在尝试将(仅)370万个文档索引为ES索引，在索引了~3.4M文档(占用大约3GB的磁盘空间)之后，索引率已经下降到大约10 docs/min，这是非常令人担忧的。索引(错误地)只有一个碎片，我认为这可能会在某个地方造成瓶颈。Elasticsearch版本: 1.7.1
M3.size(7.5GBRAM，32 GB SSD存储) ES_Heap_size: 1GB(这是我在K
浏览 5提问于2015-09-29得票数 2
2回答
我正在尝试批量更新现有的索引，使用批量API，所以一些记录是现有的，需要更新，一些是新的，需要索引，因为它们不存在。client.prepareUpdate(InvokeMain.indexName, type, docId).setUpsert(finalMap));org.elasticsearch.action.ActionRequestValidationException你知道如何批量实现upsert
浏览 0提问于2015-09-01得票数 1
实时推特注入(可延迟1分钟)
我有两个问题
将这些数据摄取到elasticsearch的最佳方法是什么？它是否影响“并行搜索请求”？
浏览 4提问于2020-05-14得票数 1
回答已采纳
我有一个日志存储管道，其中日志被传输到我的日志服务器并存储在那里的磁盘上(最高优先级)。然后在单独的服务器上在elasticsearch中对日志进行索引(最低优先级)。我今天意识到，如果elasticsearch无法访问，整个管道就会被破坏，我不能冒险阻止日志存储在磁盘上。如何告诉logstash使用特定的输出插件忽略错误，例如elasticsearch的连接错误？我的当前设置是从一个伐木工人输入开始的，它接受来自所有其他实例的转发日志。然后，文件不被访问到文件
浏览 0提问于2016-01-07得票数 1
我正在尝试提高针对ElasticSearch进行测试的套件的性能。 测试需要很长时间，因为Elasticsearch不会在更新后立即更新它的索引。例如，下面的代码运行时不会引发断言错误。from elasticsearch import Elasticsearch
# Asumming that this# results are
浏览 76提问于2016-11-18得票数 33
回答已采纳
根据的说法，elasticsearch支持使用带索引(单个文档)或批量(多个文档)的percolate。没有给出散装的例子，所以我的标题是，这个功能是5年前添加的。更新：
描述了如何在索引单个文档的同时进行渗滤，并声称这是可能的。现在，如何在elasticsearch-ruby中做到这一点？
浏览 3提问于2015-06-30得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
