在使用streaming_bulk助手时，我偶尔会遇到BulkIndexError。有没有办法将客户端配置为重试此类错误？在使用帮助器时，处理错误的最佳方法是什么？
浏览 7提问于2016-09-15得票数 0
1回答
我看了关于提高索引性能的网站备忘录。这是站点我使用并行进程或线程。每秒最高30000索引。
我犯了什么错？
浏览 2提问于2013-10-21得票数 3
回答已采纳
我有一个足够大的数据集，可以在AWS OpenSearch中批量索引JSON对象。我看不出如何使用以下任何一种方法来实现这一点: boto3、awswrangler、opensearch-py、elasticsearch、elasticsearch-py。有没有一种不直接使用python请求(PUT/POST)的方法来做到这一点？非常感谢！
浏览 23提问于2022-06-08得票数 2
回答已采纳
我们运行了一个Google批处理作业，它将数据记录写入一个pubsub管道，并有一个单独的流作业，它使用“pubsub to elasticsearch”流模板从PubSub管道中提取数据，并将更新写入我们的Elasticsearch索引。但是，我们不得不终止写入Elastic的流作业，因为在1次尝试之后，我们遇到了多个“向ES写入错误”。再也不允许“错误”了。从PubSub读取并写入Elasticsearch的任务是写入不是流索引的索引。它实际上需要
浏览 16提问于2022-09-15得票数 0
这些信息可以用于故障排除请求或实现重试逻辑，但可以使用相当大的带宽。在本例中，索引32字节文档将产生339字节响应(包括标头)：PUT elasticsearch_domain/more-movies/_doc/1 "successful": 2, },
"_seq_no":
浏览 4提问于2019-11-23得票数 1
回答已采纳
我使用的是ES 1.x版本，在为一些文档建立索引时遇到了问题。我快速地在谷歌上搜索了一下，并理解了这些错误的高级别，但我想了解以下内容：
将重试被限制的文档吗有没有一种方法可以为索引启用详细日志记录，以显示索引过程中到底发生了什么？
浏览 75提问于2019-02-28得票数 6
1回答
我正在使用SQL迁移向导将我的一个数据库迁移到另一个实例。从字面上讲，它花了超过12个小时来完成BCP。我唯一的改变是将数据包大小从4096增加到65535(最大)。这样做不对吗？
浏览 2提问于2016-07-16得票数 0
回答已采纳
1回答
我在一个t2.小节点和10 EBS的EBS卷上使用AWS。每5分钟我索引大约5000份文件*。对于每个文档，我都要手动传递唯一的ID，因为大多数文档都会被更新，所以几乎所有文档的都可以是版本2或3。但是今天，经过两周的测试后，仅仅几个小时的时间，延迟就增加到了3分钟，只需要批量插入5000个文档。我检查了AWS集群的健康统计数据。如何处理这个问题？这是因为维护文档的多个版本或使用查询删除吗？
浏览 0提问于2019-09-04得票数 0
回答已采纳
在逻辑应用程序(标准)中，当使用“调用工作流”操作时，如果被调用的工作流返回400-500错误响应状态，则似乎无法更改重试行为。工作流将重试4次。
浏览 3提问于2022-07-20得票数 0
回答已采纳
2回答
我正在开发一个实时流应用程序，该应用程序可以从Kafka broker中轮询数据，并且我正在调整以前默认使用Spark结构化流的代码(带有微批处理)。但是，我不知道如何使用连续流而不是微批量流来获得类似的行为。： .foreachBatch(foreach_batch_func) \这就是我到目前为止对连续流的尝试org.apache.spark.sq
浏览 1提问于2020-09-29得票数 5
我想在Elasticsearch中索引一堆大熊猫的数据(大约百万行和50列)。
在寻找如何执行此操作的示例时，大多数人将使用，将其传递给处理连接的实例以及创建的字典列表。但是，我有理由不使用elasticsearch-py库，并且希望直接与对话，例如通过或其他方便的HTTP库。此外，不幸的是，df.to_dict()在大型数据文件上速度非常慢，它将数据帧转换为一个dicts列表，然后通过elasticsearch-py将其序列化为JSON -py听起来像是不必要的开销，
浏览 2提问于2017-01-03得票数 6
回答已采纳
2回答
直接馈送ES -需要队列吗？
、、、、
我正在考虑在没有数据库的情况下使用ES的可能性，从我的python应用程序构造我的数据，并将其实时直接发送到ES。
浏览 1提问于2013-08-23得票数 2
1回答
我想重试这条信息。在这种情况下，我尝试使用DefaultErrorHandler。但是，根据文档，当抛出带有元素索引的BatchListenerFailedException时，它会在索引之前提交记录的偏移量。但是，正如我所说的，我需要在查找之后执行批量插入和更新，这样我就不想在索引之前提交偏移量，这些记录还没有插入/更新到DB。这是否意味着我唯一的选择是使用每次重试整个批处理的RetryingBatchE
浏览 19提问于2022-01-12得票数 0
回答已采纳
我们正在使用带有MongoDB API + MongoDB C#驱动程序的Azure CosmosDB。微软的office SDK只能与CosmosDB SQL API (DocumentDB)一起使用，并且具有重试写入操作的内置功能。为此，它使用DocumentClientException.RetryAfter属性作为延迟。但是，对于Mongo驱动程序，这是不可能的。目前，当发生写异常时，我们会设置1秒的重试延迟，但这并不是很干净，并且会导致每次批量</em
浏览 2提问于2018-04-26得票数 1
我试图在kafka中使用，我发现文档中说不支持重试，如下所示。
当使用批处理模式时，不支持在绑定器中重试，因此maxAttempts将被重写为1。您可以配置一个SeekToCurrentBatchErrorHandler (使用ListenerContainerCustomizer)以实现类似的功能，以便在绑定器中重试。您还可以使用手动AckMode并调用Ackowledgment.nack(索引、睡眠)来提交部分
浏览 11提问于2021-04-13得票数 2
回答已采纳
1回答
我想建立以下管道：数据是流的，但我想避免将数据直接流到BigQuery中，因此我希望在数据流机器中对小块进行批量处理，然后当它们达到一定的大小/时间时，将它们作为一个加载作业写入BQ中。我找不到任何示例说明如何使用(仅使用Java )来完成此操作。
浏览 1提问于2019-07-04得票数 1
我正在使用Consumer.acknowledgeAsync()对我的Java服务中的消息进行打包，并想知道如果ack失败了会发生什么？当重试耗尽时，我是否应该重试操作几次，并丢弃我的消费者？我正在计算为流控制处理的消息数量，以限制内存的使用。
浏览 1提问于2018-12-10得票数 2
回答已采纳
我正在使用sqlxmlbulkloadlib执行xml批量加载。当集成了security=SSPI时，流程可以在我的本地机器上的工作流中很好地完成。但是，当该工作流托管在我们的服务器上并从aspx页面上的服务引用中启动时，批量加载器在连接到数据源时会产生错误。我曾尝试使用sql server身份验证，但即使在我的本地计算机上也失败了，并且连接到数据源时也出现了相同的错误。
浏览 0提问于2009-11-04得票数 0
回答已采纳
1回答
我正在开发一个批量电子邮件程序，在我没有问题发送电子邮件批处理。当收件人地址无效或被主机服务器拒绝时，我的问题就开始了。
我怎么才能告诉SMTP服务器不要重试，原来的电子邮件被退回了。我只能使用MS Exchange Server。
浏览 2提问于2013-09-15得票数 0
1回答
默认情况下，在管道错误输出之前，MetaFlow会多次重试失败的步骤。但是，当我使用pytest测试我的流时，这是不希望的--我只想让流快速失败。如何临时禁用重试(而不在所有步骤上硬编码@retry(times=0) )？
浏览 19提问于2021-08-13得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号