kafka-connect-elasticsearch:如何发送删除文档？

文章/答案/技术大牛

发布

1回答

elasticsearch、apache-kafka、apache-kafka-connect、confluent-platform

field) -> sink topic -> elasticsearch-sink-connector -> elasticsearch cluster 这个处理流在很大程度上是有效的，但我在弄清楚如何处理来自数据库主题的已删除行事件时遇到了麻烦例如，如果一行被删除，我希望它也从elasticsearch中删除。我可以在faust部分使用一个条件来操纵事件。有没有一种方法可以标记一个事件，这样当它被elasticsearch-sink-connector拾取时，它会删除一个给定的<em

浏览 11提问于2019-12-12得票数 1

回答已采纳

1回答

kafka-connect-elasticsearch:如何根据Kafka topic的header中的某个值删除文档

elasticsearch、apache-kafka、apache-kafka-connect、confluent-platform

但是，我们希望处理文件的删除场景。我们的应用程序发布一个删除操作的事件，并将其设置为Kafka消息中标头值的一部分。我们希望删除文档本身，而不是使用此删除操作信息更新elastic中的文档。我们如何使用Kafka Connect来读取这个头值并从Elastic中删除给定密钥的文档？提前感谢您的帮助。

浏览 23提问于2021-04-07得票数 0

回答已采纳

1回答

solr将如何删除这些文档

solr、solrj、solr4、solrcloud

在使用solr索引大约70K文档时，我没有发送任何删除策略，但是即使这样，solr在完成70K文档的完整索引之前也会删除很少的文档，因此想了解这是如何可能的，solr决定在完成完整索引之前删除文档的依据是什么

浏览 3提问于2016-03-02得票数 1

回答已采纳

1回答

以编程方式从Blackberry中删除所有已发送/错误/未读PIN消息

blackberry、sms

我知道如何简单地删除未读邮件，但在编程方面，我找不到任何有关如何删除已发送邮件(带有D)或未发送邮件(X)的文档有人知道怎么做吗？

浏览 2提问于2011-03-17得票数 0

2回答

Grails gorm mongodb块删除

grails、grails-orm、gorm-mongodb

如何使用gorm从MongoDB块中删除文档？findAll接delete由于findAll返回的文档数量巨大而无法工作。它会导致堆问题。关于使用低级别查询的批处理删除的指针吗？或者其他方法？

浏览 7提问于2015-07-29得票数 1

回答已采纳

1回答

如何在OpenWhisk中中断序列流？

ibm-cloud、openwhisk、ibm-cloud-functions

我正在Cloudant数据库上编写一个触发器，它应该将每个新文档转换为Slack通知。当触发器向我发送所有Cloudant事件(新建/修改/删除文档)时，我如何才能只转发到新文档事

浏览 0提问于2016-11-24得票数 1

1回答

更新文档是否会增加索引的“删除”计数？

elasticsearch

在elasticsearch索引中删除文档的数量上，我面临着一个奇怪的问题。数据从未被删除，只被插入和/或更新。虽然我可以看到文档的总数在增加，但我也在删除的docs列中看到了一些非零值。我试着读取更新文档是否首先删除文档，然后重新索引它，这样删除计数就会增加。然而，我没有得到任何有关这方面的资料。我希望知道删除文档的原因。

浏览 0提问于2019-07-20得票数 3

回答已采纳

1回答

在防火墙中获取已删除文档的in

java、firebase、google-cloud-firestore、google-admin-sdk

这些文档有包含文档的子集合。现在我删除了很多最高级别的文件。结构：MyCollection => MyDocument => MySubcollection => MySubdocument当我试图通过向我的集合发送一个查询来读取所有文档来查找

浏览 4提问于2020-12-23得票数 0

回答已采纳

1回答

如何在Parse上上传多张图片？

android、image、parse-platform

因此，用户可能想要删除图像或添加新图像。因此，我有一个问题，如何编辑数组来删除特定图像。我的想法是下载手机上的所有图像，当用户添加/删除图像时，在本地更新它，然后再次上传所有图像来解析和更新图像数组，但似乎不能正常工作，因为我只上传了一张图像。我如何才能解决这个问题，任何想法都是值得感谢的。

浏览 0提问于2015-10-21得票数 1

1回答

在lotus notes中以编程方式取消定期会议

java、lotus-notes

我使用ApptUNID查找父文档。使用此文档引用，我创建了一个子文档，并将NoticeType字段设置为C，然后将文档发送给所有参与者。通过这样做，我成功地从参与者的日历中删除了日历条目。但是我不知道，如何删除取消当天的会议日历条目。如何使用Java编程取消lotus notes中的定期会议？

浏览 0提问于2013-05-13得票数 0

回答已采纳

1回答

如何从Amazon云中删除文档？

amazon、kindle、osx

我使用Mac的send应用程序向我的iPad发送了几个文本文件。这是可行的，但没有办法删除文件。如何删除这些文档？

浏览 0提问于2012-06-01得票数 2

2回答

delete_by_query版本冲突

elasticsearch

根据ES，文档索引/删除如下：对发送到副本节点的主碎片和并行请求执行的操作。现在，在我的例子中，我在t时向ES发送一个create文档请求，然后在大约delete_by_query毫秒内发送一个删除同一个文档的请求(使用t+800 )。这些请求通过消息传递系统(kafka的内部实现)发送，该系统确保删除请求仅在收到来自ES

浏览 1提问于2019-03-27得票数 6

回答已采纳

1回答

Couchbase XDCR弹性搜索速度和删除

elasticsearch、couchbase

我们正在考虑实现某种类型的消息缓存，它将保存我们发送到搜索索引的消息，这样我们就可以在索引下降很长一段时间(例如，一个完整的重新索引)时保持下去，然后“重新应用”这些消息。无论如何，我建议对这个任务进行Couchbase + XDCR + Elasticsearch搜索，因为大部分工作都是自动完成的，但是我还有4个问题：如果我们将其作为缓存来实现，我不希望Elasticsearch删除没有在Couchbase中的任何文档，这是否可以这样做(也许这甚至是默认行为)？是否有可能应用某种版本控制，以便索引中的文档<

浏览 1提问于2013-01-31得票数 2

1回答

如何处理批量请求中的错误

elasticsearch、error-handling、elasticsearch-bulk-api

我正在使用Elasticsearch bulk API发送大量文档，以便一次索引和删除。如果一个文档有错误，其他文档将被索引或成功删除。这导致了elasticstore中数据的错误状态，因为在我的例子中，文档是相互关联的。我的意思是，如果一个文档的字段有一些值，那么其他文档的字段也应该有相同的值。我不确定如何处理来自批量请求的此类错误。是否可以以任何方式回滚请求？我读过类似的问题，但在处理此类案件时找不到解决方案。或

浏览 8提问于2017-12-12得票数 1

1回答

ElasticSearch坏插入酶体

python、elasticsearch

'products', id=product['uuid'], body=data)如果它有帮助的话，那么我在数据库中只得到了大约200-250.000个文档最终代码示例-如何使用大容量 es = Elasticsearch([{'host': str(config['elastic']['host']), 'port': str(config['elastic

浏览 1提问于2017-01-16得票数 1

回答已采纳

2回答

在Elasticsearch中更新是如何工作的？

elasticsearch、memory、kibana

我面临着一个关于更新的优化问题:我需要了解Elasticsearch更新机制是如何在低级视图中处理文档的。Elasticsearch真的会在没有物理删除的情况下将前一条记录标记为已删除，然后将其重写为新记录，从而浪费更多的空间吗？

浏览 1提问于2020-07-10得票数 1

1回答

在Kafka连接分布式模式下为多个主题配置连接器

elasticsearch、apache-kafka、apache-kafka-connect

我们有制片人将以下内容发送给卡夫卡： topic=syslog，~25,000次/ daytopic=zeek.xxx.log，~5,000次/天~10,000次事件(总计)。kafka-connect-elasticsearch实例作为消费者将数据从Kafka发送到Elasticsearch。在文档中的任何地方都有，在这种情况下，对于不同主题的吞吐量存在明显的不平衡？

浏览 0提问于2021-11-08得票数 0

回答已采纳

1回答

从nodejs服务器中mongo文档内的子数组中删除项

node.js、mongoose

当用户发送消息时，该消息保存在两个文档中。一个在发送方，另一个在接收方。至于删除接收方文档中的发送

浏览 0提问于2021-06-13得票数 0

1回答

在Biztalk 2016中将文档路由到多个接收者

xml、ftp、port、sftp、biztalk

我需要将发送给客户的文档归档到发件人系统的内部文件夹中。文档存储在SFTP上，并被传送到外部FTP。SFTP适配器在拾取该文件后将其删除。SFTP适配器拾取的所有文档的副本需要移动到发件人系统中的另一个文件夹。我尝试为此目的创建另一个接收位置，但由于文件在拾取时会被删除，因此这是一个何时gets首先拾取文件的竞赛。如何在Biztalk中实现这一点？我考虑创建一个发送端口组，但由于文件需要根据文件名发送到8个不同的文件夹，所以我不能只设

浏览 27提问于2019-05-08得票数 0

回答已采纳

1回答

锁定Solr中用于编辑的特定文档

solr、lucene、solrj、solrcloud、solr6

是否有一种方法可以锁定Solr6或Solr7中用于编辑/删除的特定文档？例如，我阅读了一个文档，根据它的内容，我看到它应该被更新或删除。然后发送更新/删除查询。但是，从我读取文档的那一刻到发送查询的那一刻，我想确保文档没有被其他进程更新或删除--“锁定”它用于任何编辑。有办法吗？

浏览 2提问于2019-05-01得票数 0

回答已采纳

点击加载更多