首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >与Kafka批处理侦听器相关联的记录在经过几次重新平衡(弹性测试)之后,不会用于某些分区。

与Kafka批处理侦听器相关联的记录在经过几次重新平衡(弹性测试)之后,不会用于某些分区。
EN

Stack Overflow用户
提问于 2022-09-01 14:40:18
回答 1查看 95关注 0票数 1

几周前,我的项目被更新为使用Kafka 3.2.1,而不是使用Spring 2.7.3 (3.1.1)附带的项目。我们进行这一升级是为了避免Kafka流中的一个问题--非法状态和参数异常不会在未被处理的异常处理程序中结束。在消费者方面,我们也转移到合作粘性分配。

同时,我们启动了一些弹性测试,并且开始出现使用Kafka批处理侦听器时不再在某些分区上使用的Kafka记录的问题。这个问题发生在测试引起的几次重新平衡之后(部署在Kubernetes中,我们停止了一些荚、微服务和代理实例)。这个问题不是每个听众都能听到的。卡夫卡的经纪人和微型服务已经开始运作。

在我们的调查中,

我们启用了assigned.

  • debug事件,我们可以清楚地看到,消费者已经启动了

  • ,我们可以在日志中看到,没有消耗事件的分区是在KafkaMessageListenerContainer上启用的。我们看到了大量的接收事件:0记录和提交列表:{}

在Spring / Kafka 2.7.3/2.8.8中是否有使用Kafka 3.2.1的阻塞点?

欢迎任何帮助或其他建议来推动我们的调查工作。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-09-05 18:15:43

定义了

多个侦听器,重试似乎是从另一个侦听器(共享错误处理程序?)触发的。

这是一个已知的bug,在下一个版本中修复:

https://github.com/spring-projects/spring-kafka/issues/2382

https://github.com/spring-projects/spring-kafka/commit/3de1e89ba697ead04de171cfa35273bb0daddbe6

临时工作是为每个容器提供自己的错误处理程序。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73571243

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档