当提交带有"_bulk“端点的POST请求时，来自elasticsearch的400

当提交带有"_bulk"端点的POST请求时，来自Elasticsearch的400错误表示请求存在语法错误或无法识别的命令。

Elasticsearch是一个开源的分布式搜索和分析引擎，用于存储、检索和分析大规模的数据。它基于Apache Lucene项目，提供了实时分布式搜索和分析功能。

"_bulk"端点用于在单个请求中执行多个索引、更新或删除操作，以提高性能和减少网络开销。请求的主体以行分隔符分隔，每行包含一个操作类型和操作数据，使用JSON格式表示。常见的操作类型包括"index"（索引）、"update"（更新）和"delete"（删除）。

当提交的请求存在语法错误时，Elasticsearch会返回400错误。此错误可能是由于以下原因引起的：

JSON格式错误：请求的操作数据不符合JSON格式要求。请检查每行的数据是否正确编码为JSON，并确保使用双引号包围字段名和字段值。
缺少必需的字段：请求的操作数据缺少必需的字段，例如索引操作缺少"_index"字段或更新操作缺少"_id"字段。请检查每行的操作数据是否包含必需的字段。
无效的操作类型：请求的操作类型不被支持或不被识别。请确保使用正确的操作类型，例如"index"、"update"或"delete"。
错误的请求结构：请求的结构不符合"_bulk"请求的要求。请参考Elasticsearch官方文档中"_bulk"请求的正确结构。

对于以上400错误的处理，您可以按照以下步骤进行排查和修复：

检查请求的语法和格式是否正确，确保每行的操作数据符合JSON格式要求。
检查每行的操作数据是否包含必需的字段，根据请求的操作类型，确保包含正确的字段。
确认操作类型是否正确，并使用支持的操作类型。
查阅Elasticsearch官方文档中"_bulk"请求的结构要求，对照请求的结构进行修复。

如果需要进行批量索引、更新或删除操作，您可以使用Elasticsearch提供的"_bulk"API，它能够提高操作效率并减少网络开销。腾讯云提供的云搜索引擎Tencent Cloud Search也支持类似的批量操作功能，您可以在官方文档中了解更多信息：

Tencent Cloud Search产品介绍：https://cloud.tencent.com/product/tcs Tencent Cloud Search文档：https://cloud.tencent.com/document/product/558

请注意，本答案中未提及其他云计算品牌商，如需了解其他云计算品牌商的相关信息，请查询官方文档或相关资料。

相关·内容

elasticsearch PipelineI详解：原理与使用

Ingest Node的工作原理当数据进入 Elastic 集群并指定了特定的 Pipeline 时，Elasticsearch 中的 ingest node 会按照定义好的处理器（processor...例如，当通过POST请求将数据发送到指定索引时，可以带上pipeline参数来指定使用的Pipeline。 1....获取 Pipeline 信息使用 GET 请求和 _ingest/pipeline 端点可以检索现有 Pipeline 的定义。...四、Pipeline 应用方式在 Bulk API 中使用使用 Bulk API 时，可以指定 pipeline 来预处理批量文档。...在 Reindex API 中使用当从一个索引重新索引到另一个索引时，可以使用 pipeline 来预处理数据。

2411 0

Elasticsearch文档和映射

就像被标记为完全删除的文档一样，仅当Elasticsearch执行段合并时才会删除这些文档。...例如： curl -X POST "/_bulk" -H 'Content-Type: application/json' -d' { "index" :...最后一个小问题：当您通过查询更新（或删除）时，Elasticsearch会在进行任何修改之前获取并使用索引所处状态的初始快照。...重要提示：在2018年，Elasticsearch开始实施更改，目标是删除映射类型。回复朦胧：当映射不清楚时 Elasticsearch用户在映射文档后遇到的最常见问题是映射冲突。...因此，当您定义映射时，您需要已经知道您的字段定义。这是一个很高的订单，特别是因为更改需求经常导致发送到Elasticsearch的数据发生更改 - 因此需要您更新映射。

1.7K1 0

API OWASP 标准

API 管理 API 通过 API 管理发布 API 在开发人员门户中可见 API 只能通过 API 管理网关访问请求 API 时强制执行速率限制对 API 进行更改时会自动维护规范针对标准规范的每次更改验证端点规范...HTTP 状态码 404 用于错误的 URL 400 -responses 有特定错误的附加信息（例如缺少必需的属性）当 API 使用者使用错误的凭证时使用 401 -response 403 使用有效但请求...API 使用者无法访问的端点或尝试使用他们不允许执行的操作 500 - 当存在 API 使用者无法通过更改请求来解决的内部处理问题时响应 500 -responses 具有特定于应用程序的错误代码...POST: 200 OK 更新或提交而不创建新资源 201 -response 结合创建资源的标识符 DELETE: 204 OK 删除资源成功时本土化带有时区的 UTC 日期和时间格式（ISO...规范包含标准格式的请求和响应示例，API 文档根据规范、模式和示例自动生成 POST, PUT: 201 为创建新资源而创建来自客户端的 400 个错误请求，例如缺少必需的查询参数白名单：POST、

2.6K2 0

Elasticsearch之利用bulk提高写入性能（含源码分析）

什么是bulk操作 bulk是批量的意思，也就是把原来单个的操作打包好，通过批量的api提交到ES集群。...操作： POST _bulk { "index" : { "_index" : "test", "_id" : "1" } } { "field1" : "value1" } { "delete" :...可以看到，我们可以把多个不同的命令打包好通过bulk提交。不过我个人的经验实际场景中多是相同的命令（比如批量index）。...bulk操作的顺序问题一提到批量操作，有经验的人马上就会提出一个问题：一堆命令提交到ES，那么ES执行的顺序和我们提交的顺序是一致的吗？毕竟有些业务场景会对执行命令的顺序有要求。答案是不一定。...可以看到，当readFromTranslog为true时，get操作是从translog读取数据，而初始化的时候这个值和realtime取的是同一个值。

5.1K3 0

elasticsearch实战三部曲之二：文档操作

", "found": false } 检查文档是否存在 HEAD test001/article/1 该请求的响应没有body，只有返回码，存在时返回200，不存在返回404 根据id一次获取多个文档...如果您的电脑可以使用curl命令，那么在book.json文件所在文件夹下面执行此命令即可提交： curl -XPOST "http://192.168.119.152:9200/_bulk?...1到6的顺序，url地址是：_bulk?...至此，和文档有关的基本操作实战已经完成了，接下来的文章中，我们会进行搜索相关的实战；注意：文中用到的book.json文件，来自实体书《从Lucene到Elasticsearch全文检索实战》提供的在线下载源码包中的内容...，感谢姚攀大师精心准备的用例和数据，如果您认为我文章中使用的数据有侵权行为，请及时告知我，我会第一时间删除，我的邮箱:zq2599@gmail.com

4982 0

ElasticSearch权威指南学习（文档）

Elasticsearch会在你继续索引更多数据时清理被删除的文档。...每个文档的检索和报告都是独立的更新时的批量操作就像mget允许我们一次性检索多个文档一样，bulk API允许我们使用单一请求来实现多个文档的create、index、update或delete。...行为(action)必须是以下几种：行为解释 create 当文档不存在时创建之 index 创建新文档或替换已有文档 update 局部更新文档 delete 删除一个文档例如删除请求看起来像这样...： { "delete": { "_index": "website", "_type": "blog", "_id": "123" }} bulk请求表单是这样的 POST /_bulk { "delete...如果任何一个请求失败，顶层的error标记将被设置为true，然后错误的细节将在相应的请求中被报告演示错误情况 POST /_bulk { "create": { "_index": "website

9673 0

Elasticsearch：REST API

"address": "中国北京市海淀区", "location": { "lat": "39.970718", "lon": "116.325747" } } 在上面，我们在请求时带上...： POST _bulk { "delete" : { "_index" : "twitter", "_id": 1 }} 使用 update 来进行更新一个文档： POST _bulk { "update..." -XPOST localhost:9200/_bulk --data-binary @es.json 这里的 “elastic:123456” 是我们的 Elasticsearch 的用户名及密码，...Open/close Index Elasticsearch 支持索引的在线/离线模式。使用脱机模式时，在群集上几乎没有任何开销地维护数据。关闭索引后，将阻止读/写操作。...当您希望索引重新联机时，只需打开它即可。但是，关闭索引会占用大量磁盘空间。

1.3K0 0

触类旁通Elasticsearch：优化

当Elasticsearch启动的时候，它会从磁盘中使用最后一个提交点去恢复已知的段，并且会重放translog中所有在最后一次提交后发生的变更操作。translog也被用来提供实时CRUD。...图5 当分层合并策略发现某层中存在过多的分段时，它将进行一次合并（1）调优合并策略的选项合并的最终目的是提升搜索的性能而均衡I/O和CPU计算能力。...网络当发送一个搜索请求到某个ES节点的时候，该节点将请求发送到所有涉及的分片，并将单个分片的答复聚合为一个最终的答复，并返回给应用程序。...请求的scroll参数中给出的超时会在每次获取新页面时被刷新，这就是为什么每个新的请求中可以可以设置不同的超时。...也就是说，深度分页比默认的搜索更高效，因为ES没有必要为当前页面而排列所有之前的页面。只有当事先知道需要深度分也时，滚动才是有用的。当只需要少数几页结果时并不推荐滚动操作。

1.1K3 0

Elasticsearch探索：Pipeline API

此预处理通过截取批量和索引请求的提取节点执行，它将转换应用于数据，然后将文档传递回索引或批量 API。...要使用 pipeline，我们只需在索引或批量请求上指定 pipeline 参数，以告诉提取节点使用哪个 pipeline： POST my_index/my_type?...当 ingest node 接收到新 pipeline 时，它们将以内存 pipeline 表示形式更新其节点，并且 pipeline 更改将立即生效。...可以指定要对提供的文档执行的现有 pipeline，或者在请求的主体中提供 pipeline 定义。...Pipeline 应用场景 1) 我们可以在 _bulk API 中进行使用： POST _bulk {"index": {"_index": "my_index", "_id" : "1", "pipeline

1.1K2 1

Elasticsearch 入门: _bulk 批量导入数据

批量导入数据使用 Elasticsearch Bulk API /_bulk批量 update 步骤：需求：我希望批量导入一个 movie type 的名词列表到 wordbank index 索引...} 原因：bulk update 时，更新的文本需要放到 "doc" 字典下，另外 update 在这里就只是 update，如果文档不存在会报错。...原因：因为 curl 返回的结果是个单行 json 当批量处理条目多的时候，这个单行的 json 很长。...而且-s 也silent 模式是不会把这个结果去掉的，因为 -s 是 curl 的参数，会屏蔽掉 curl 的 log，但 Elasticsearch 的返回 json 是不会被屏蔽掉的。...推荐使用这种： POST /website/log/_bulk { "index": {}} { "event": "User logged in" } 而不是这种： POST /_bulk {

2.4K4 0

ElasticSearch 持久化变更

Elasticsearch 在启动或重新打开索引时使用此提交点来确定哪些段属于当前分片。...启动时，Elasticsearch 将使用最后一个提交点从磁盘中恢复已知的段，然后将重新执行 Translog 中的所有操作，以添加最后一次提交后发生的更改。...2. flush API 在 Elasticsearch 中执行提交和截断 Translog 的操作被称作一次 flush。分片每30分钟或者当 Translog 变得太大时会自动 flush 一次。...默认情况下，Translog 每5秒进行一次 fsync 刷新到磁盘，或者在每次写请求(例如index, delete, update, bulk)完成之后执行。这个过程发生在主分片和副本分片上。...在每个请求之后执行 fsync 都会带来一些性能消耗，尽管实际上相对较小（特别是对于bulk导入，在单个请求中平摊了许多文档的开销）。

1.2K4 0

Elasticsearch学习（二）使用Kibana实现对es的增删改查

，当Elasticsearch中的数据量过大时，Elasticsearch后台回收deleted状态的Document。...当Elasticsearch存储空间不足或工作空闲时，才会执行物理删除操作。标记为deleted状态的数据不会被查询搜索到。...bulk语法批量操作时，bulk request会一次性加载到内存中，如果请求数据量太大，性能反而下降（内存压力过高），需要反复尝试一个最佳的bulk request size。...如果json格式没有特殊的限制，Elasticsearch在解释bulk请求时，需要对任意格式的json进行解释处理，需要对bulk请求数据做json对象会json array对象的转化，那么内存的占用量至少翻倍...，当请求量过大的时候，对内存的压力会直线上升，且需要jvm gc进程对垃圾数据做频繁回收，影响Elasticsearch效率。

4.3K1 0

如何在 Elasticsearch 中使用 pipeline API 来对事件进行处理

此预处理通过截取批量和索引请求的摄取节点执行，它将转换应用于数据，然后将文档传递回索引或批量 API。...要使用 pipeline，我们只需在索引或批量请求上指定 pipeline 参数，以告诉摄取节点使用哪个 pipeline： POST my_index/my_type?...当 ingest node 接收到新 pipeline 时，它们将以内存 pipeline 表示形式更新其节点，并且 pipeline 更改将立即生效。...可以指定要对提供的文档执行的现有 pipeline，或者在请求的主体中提供 pipeline 定义。...pipeline 的应用场景 1) 我们可以在 _bulk API 中进行使用： POST _bulk{"index": {"_index": "my_index", "_id" : "1", "pipeline

3K2 0

3.ElasticSearch分布式数据分析引擎基础概念与使用

使用编辑器键入请求并将它们提交到 Elasticsearch，结果将显示在右侧的响应窗格中。...GET /index03/_doc/kibana # (4) 批量写入索引文档数据 # 如果有许多文档需要索引则我们可以通过API批量提交,使用这种方式比单独提交请求要快得多因为其减少了网络往返,例如下列的数据集合...} Tips : 当文档数据过多时不建议使用Kibana工具进行调试提交,而建议使用curl指定json文件提交。...，否则报The bulk request must be terminated by a newline [\\n]，状态400错误。...以及每一分钟进行HEAD请求我们设置的远程扩展字典以及远程扩展停止字典，当发现更新后便会GET请求。

2K4 2

ElasticSearch最全详细使用教程：索引别名、分词器、文档管理、路由、搜索详解

说明： action_and_meta_data: action可以是 index, create, delete and update ，meta_data 指: _index ,_type,_id 请求端点可以是...: /_bulk, /{index}/_bulk, {index}/{type}/_bulk 示例： POST _bulk { "index" : { "_index" : "test"...即当需要做数据的拷贝的时候 POST _reindex { "source": { "index": "twitter" }, "dest"...=wait_for ，登记等待刷新，当登记的请求数达到index.max_refresh_listeners 参数设定的值时(defaults to 1000)，将触发重刷新。...我们可以在索引文档时通过routing参数指定别的路由值 number_of_primary_shards：创建索引时指定的主分片数 POST twitter/_doc?

5K2 0

ElasticSearch权威指南：基础入门（上）

当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。当一个节点被选举成为主节点时，它将负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。...例如，可以重试更新、使用新的数据、或者将相关情况报告给用户。乐观并发控制 Elasticsearch 是分布式的。当文档创建、更新或删除时，新版本的文档必须复制到集群中的其他节点。...还是有可能在 update 设法重新索引之前，来自另一进程的请求修改了文档。..." } 为了把所有的操作组合在一起，一个完整的 bulk 请求有以下形式: POST /_bulk { "delete": { "_index": "website", "_type": "blog"...相反，可以像 mget API 一样，在 bulk 请求的 URL 中接收默认的 /_index 或者 /_index/_type ： POST /website/_bulk { "index": {

1.5K3 2

ElasticSearch最全详细使用教程：入门、索引管理、映射详解、索引别名、分词器、文档管理、路由、搜索详解

4K3 1

ElasticSearch 6.x 学习笔记：28.Java API之文档批量操作

BulkProcessor类提供了一个简单接口，可以根据请求的数量或大小自动刷新批量操作，也可以在给定的时间段之后自动刷新批量操作。...org.elasticsearch.action.bulk.BulkProcessor; import org.elasticsearch.action.bulk.BulkRequest; import...批处理的预备工作 System.out.println("请求数:"+request.numberOfActions());...}) .setBulkActions(1000)//设置提交批处理操作的请求阀值数 .setBulkSize(new ByteSizeValue...(5, ByteSizeUnit.MB))//设置提交批处理操作的请求大小阀值 .setFlushInterval(TimeValue.timeValueSeconds(

4252 0

elasticsearch修改数据

在创建索引时，ID参数并不是必须的，也可以不指定ID，此时会自动生成一个ID，例如如下请求： curl -X POST "localhost:9200/customer/_doc?...在更新文档时，也可以使用一些简单的脚本，例如给age增加5，请求如下： curl -X POST "localhost:9200/customer/_doc/1/_update?...批处理除了对单个的文档进行索引、更新和删除，Elasticsearch也提供了相关操作的批处理功能，这些批处理功能通过使用_bulk API实现。...如下案例，表示更新id为1的索引，然后然后删除id为2的索引： curl -X POST "localhost:9200/customer/_doc/_bulk?...当bulk API返回时，它将提供每个操作的状态（按照同样的顺序），所以开发者能够看到每个操作成功与否。好了，本文先介绍到这里，有问题欢迎留言讨论。

2.1K2 0

开始使用 Elasticsearch （1）

在上面我们可以看出来，我们每次执行那个POST 或者 PUT 接口时，如果文档已经存在，那么相应的版本就会自动加 1 ，之前的版本抛弃。...我们使用如下的命令来进行 bulk操作： POST _bulk { "index" : { "_index" : "twitter", "_id": 1} } {"user":"双榆树-张三","message...当执行完我们的批处理 bulk 命令后，我们可以看到： 21.jpg 显然，我们的创建时成功的。因为我运行了两遍的原因，所以你看到的是 version 为 2 的返回结果。...bulk 指令是高效的，因为一个请求就可以处理很多个操作。在实际的使用中，我们必须注意的是：一个好的起点是批量处理 1000 到 5,000 个文档，总有效负载在 5MB 到 15MB 之间。...注意：通过 bulk API 为数据编制索引时，您不应在集群上进行任何查询/搜索。这样做可能会导致严重的性能问题。

1.3K7 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云