我的应用程序让5+使用者消耗了kafka主题上的五个分区。(使用kafka版本11)我的使用者的每个分区都产生一条到另一个主题的消息，然后将一些状态保存到数据库中，然后进行manual_即时确认并进入下一条消息。我正在尝试解决当它们成功发送到出站主题时的情况。那么我们就会失败/失去消费者。当另一个使用者接管分区时，它将向出站主题发出另一条消息。这很糟糕:(
我发现
浏览 7提问于2018-08-14得票数 1
回答已采纳
1回答
目前，我正在使用Confluent Rest Proxy 5.5.1来收集生产中的数据。重复的事件可能会出现。我使用Kafka Stream API找到了去重的解决方案。在Rest代理中有可能得到一个幂等的生产者保证吗？
浏览 18提问于2021-02-02得票数 0
3回答
即使你使用幂等的生产者，你仍然需要在消费者中做幂等的工作，那么在卡夫卡，幂等生产者的用途是什么？只是为了减少经纪人的重复，节省存储？
浏览 7提问于2022-10-17得票数 2
我使用spring的幂等生产者配置：
Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP如果只将生产者配置为幂等值(即，如果设置了enable.idempotence而没有配置transactional.id )，则可以使用同一个生产者实例继续发送，但这样做可能会对发送的记录进
浏览 1提问于2019-03-16得票数 8
如果不是这种情况，READ_COMMITED模式下的使用者将阻止某个主题，如果某个事务由一个生产者启动，而后者后来死亡，并且其transactional.id没有被另一个节点捕获。一旦任何生产者选择当前正在使用的transactional.id，卡夫卡就会增加transactional.id的时代号，将可能使用该id的任何其他生产者隔开，并用陈旧的时代号关闭任何开放的事务。大多数关
浏览 0提问于2019-09-04得票数 0
回答已采纳
我们在kafka producer中使用幂等生产者模式，因为我们希望数据只存储一次，并且在代理中按顺序存储。这种速度变慢了，因为对broker的最大运行请求只能是5。另外，在producer，consumer和kafka broker运行的同一台机器上，我看到100k消息突发的平均延迟约为20ms到30ms。另外，对于2个min.insync.replicas和幂等生产者<
浏览 25提问于2019-03-13得票数 0
在JVM中，是否提供了类似于的选项？
这个库支持幂等(Config.Producer.Idemponent，类似于)，但我不明白没有transactional.id该如何使用它。如果我错了，请纠正我，在Sarama中缺少关于这些选项的文档。但根据JVM文档，没有标识符的幂等性将受到单个生产者会话的限制。换句话说，当producer发生故障并重新启动时，我们将失去保证。我在源代码和一些测试()中找到了相关属性，但不了解
浏览 1提问于2021-06-01得票数 8
2回答
阅读本文关于主题分区中的消息排序：
max.in.flight.requests.per.connection=1 // can impact producer throughpu
浏览 5提问于2019-11-07得票数 9
我在rest端点调用中使用了idempotence启用(没有完全启用一次语义或事务)的kafka生产者。我之所以启用它，是因为我不想要卡夫卡重试造成的任何重复。以下是我关注的问题：
我读过kafka文档，启用幂等功能将使重试无限(什么?)如果我没有在交易中使用幂等效应，我真的需要它吗？
浏览 1提问于2020-11-21得票数 5
回答已采纳
当涉及到exactly-once/transactions/idempotence.时，我能够找到所有关于Kafka Streams应用程序的融合文档 然而，事务的API是在“常规的”生产者/消费者级别上引入的我想知道在没有Kafka流的情况下是否可以直接使用这些API。我确实理解Kafka处理边界和保证的后果，我可以违反它。我不需要
浏览 22提问于2020-12-18得票数 0
1回答
我正在探讨卡夫卡的交易，我想了解所有的细节。我做了更多的调查，发现事务的工作需要幂等函数。Kafka幂等是一个功能，以避免重复的消息，如网络错误后，该消息已发送。
我<em
浏览 1提问于2018-07-30得票数 3
我试图在Kafka Shell中实现一个简单的生产者-->Kafka-->消费者应用程序。我能够成功地生成和使用消息，但是当我重新启动使用者时，问题就会发生，每次我重新启动使用者时，老消息都会被选中up.Is，这样就可以避免在重新启动使用者时出现失败的消息。
浏览 5提问于2022-02-01得票数 0
3回答
卡夫卡的文件说，幂等的生产者是可能的，在同一个生产者会议，我无法理解这一点。为什么当制片人崩溃并再次出现时，它不能维持这个序列？
我如何使它真正的幂等于制片人会议之间？
浏览 0提问于2018-08-08得票数 3
回答已采纳
1回答
我读了很多关于幂等和非幂等的知识，我想我清楚地理解了这个概念。然而，一个帖子的场景让我感到困惑。现在这是显而易见的，但是假设一个人有一个ID作为PK，但还有SSN，这是一个唯一的密钥。在这种情况下，如果
浏览 43提问于2018-09-17得票数 0
回答已采纳
尝试理解Kafka中处理消息顺序和复制消息的以下配置之间的区别。我在任何地方都找不到任何详细的解释。你能帮我理解一些用例吗？enable.idempotence=true
幂等生产者可以处理重复的消息并保留消息顺序，即使使用请求流水线也是如此-没有消息重复，因为代理忽略重复的序列号，并且消息顺序被保留，因为当出现故障时，生产者暂时限制在传输中<
浏览 0提问于2020-02-08得票数 1
我对kafka ACL配置有点困惑，在kafka ACL配置中，我们为生产者和消费者配置授权。有各种使用命令行生成/消费消息的示例。我们是否需要任何额外的配置来使用JAVA api向/从安全的kafka主题生成/消费消息。
浏览 2提问于2016-06-15得票数 0
1回答
我有一个相当简单的Kafka设置-1生产者，1个主题，10个分区，10个KafkaConsumers都有相同的组ID，所有这些都运行在一台机器上。当我处理一个文件时，生产者很快创建了3269条消息，消费者很高兴地开始使用这些消息。在一段时间内，一切都运行得很好，但到了某个时刻，消费者开始消费副本--大量副本。我对Kafka还是个新手，但我对为什么会发生这样的事情感到困惑。我知道<e
浏览 7提问于2017-04-13得票数 0
我在1.0.0-cp1版本的Kafka集群的工作台上工作。在我的工作台上，有些人关注在保证排序和无数据丢失的情况下可能达到的最大吞吐量(只有一个分区的主题)，是否需要将max.in.flight.requests.per.connection属性设置为1？我读过
而且我知道，如果我在producer中使用retries属性启用了重试功能，则只需将max.in.flight设置为1。另一种方式来问我的问题:只有一个分区+ retries
浏览 4提问于2018-04-13得票数 13
回答已采纳
1回答
我们有一个需求，当我们使用来自一个主题的消息时，会有一些充实发生，然后我们将消息发布到另一个主题。下面是一些事件我正在使用活页夹，一切都很好。突然，我们观察到生产者正在向主题发送重复的信息，然后我们使生产者是幂等的。为了更好的控制，我们让
浏览 3提问于2021-09-28得票数 0
云服务器
ICP备案
腾讯会议
实时音视频
对象存储
腾讯云开发者
