Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >与Kafka批处理侦听器相关联的记录在经过几次重新平衡(弹性测试)之后,不会用于某些分区。

与Kafka批处理侦听器相关联的记录在经过几次重新平衡(弹性测试)之后,不会用于某些分区。
EN

Stack Overflow用户
提问于 2022-09-01 06:40:18
回答 1查看 95关注 0票数 1

几周前,我的项目被更新为使用Kafka 3.2.1,而不是使用Spring 2.7.3 (3.1.1)附带的项目。我们进行这一升级是为了避免Kafka流中的一个问题--非法状态和参数异常不会在未被处理的异常处理程序中结束。在消费者方面,我们也转移到合作粘性分配。

同时,我们启动了一些弹性测试,并且开始出现使用Kafka批处理侦听器时不再在某些分区上使用的Kafka记录的问题。这个问题发生在测试引起的几次重新平衡之后(部署在Kubernetes中,我们停止了一些荚、微服务和代理实例)。这个问题不是每个听众都能听到的。卡夫卡的经纪人和微型服务已经开始运作。

在我们的调查中,

我们启用了assigned.

  • debug事件,我们可以清楚地看到,消费者已经启动了

  • ,我们可以在日志中看到,没有消耗事件的分区是在KafkaMessageListenerContainer上启用的。我们看到了大量的接收事件:0记录和提交列表:{}

在Spring / Kafka 2.7.3/2.8.8中是否有使用Kafka 3.2.1的阻塞点?

欢迎任何帮助或其他建议来推动我们的调查工作。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-09-05 10:15:43

定义了

多个侦听器,重试似乎是从另一个侦听器(共享错误处理程序?)触发的。

这是一个已知的bug,在下一个版本中修复:

https://github.com/spring-projects/spring-kafka/issues/2382

https://github.com/spring-projects/spring-kafka/commit/3de1e89ba697ead04de171cfa35273bb0daddbe6

临时工作是为每个容器提供自己的错误处理程序。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73571243

复制
相关文章
Spring Boot Kafka概览、配置及优雅地实现发布订阅
本文属于翻译,转载注明出处,欢迎关注微信小程序小白AI博客 微信公众号小白AI或者网站 https://xiaobaiai.net
别打名名
2019/12/24
15.7K0
Spring Boot Kafka概览、配置及优雅地实现发布订阅
​kafka概述 01 0.10之后的kafka版本有哪些有意思的feature?【kafka技术图谱 1/50】
# **kafka release reviews: what happen from kafka 0.10 to 2.6*
大数据事务所-大菜菜
2021/09/09
9980
​kafka概述 01 0.10之后的kafka版本有哪些有意思的feature?【kafka技术图谱 1/50】
Apache Kafka 3.2.0 重磅发布!
3.2.0 版本包含许多新功能和改进。本文将重点介绍一些最突出的新功能。有关更改的完整列表,请务必查看发行说明。您还可以观看发布视频,了解 Apache Kafka 3.2.0 中的新功能摘要。
大数据真好玩
2022/06/17
2.1K0
案例分享 | Yelp 如何在 Kubernetes 上运行 Kafka(第 2 部分 - 迁移)
上一篇文章,我们详细介绍了开发基于 PaaSTA 的新部署模型的架构和动机。现在想分享我们将现有 Kafka 集群从 EC2 无缝迁移到基于 Kubernetes 的内部计算平台的策略。为了帮助促进迁移,我们构建了与集群架构的各种组件接口的工具,以确保该过程是自动化的,并且不会影响用户读取或写入 Kafka 记录的能力。
灵雀云
2022/08/12
1K0
案例分享 | Yelp 如何在 Kubernetes 上运行 Kafka(第 2 部分 - 迁移)
必会 | 教你如何重新分布kafka分区、增加分区副本数
已知,Kafka 集群中有两个 kafka broker ,id 分别为 200、201 。
create17
2020/12/01
11.2K1
必会 | 教你如何重新分布kafka分区、增加分区副本数
最新更新 | Kafka - 2.6.0版本发布新特性说明
以下是Kafka 2.6.0版本中解决JIRA问题的摘要,有关该版本的完整文档,入门指南以及关于该项目的信息,请参考Kafka官方文档。
大数据真好玩
2020/08/28
4.9K0
最新更新 | Kafka - 2.6.0版本发布新特性说明
Apache Kafka简单入门
为了理解Kafka是如何做到以上所说的功能,从下面开始,我们将深入探索Kafka的特性。
王知无-import_bigdata
2019/05/17
8190
Apache Kafka简单入门
FAQ系列之Kafka
“流媒体”:发布者(“生产者”)经常发送的大量消息(想想数万或数十万)。许多订阅者(“消费者”)经常进行消息轮询。
大数据杂货铺
2021/07/27
9670
FAQ系列之Kafka
kafka概念
-1或all: producer发送过来的数据,Leader和ISR队列满足最小应答数后才应答,其中ISR队列满足最小应答数可以通过min.insync.replicas参数设置。
doper
2022/09/26
6460
kafka概念
后起之秀Pulsar VS. 传统强者Kafka?谁更强
最近,我一直在研究 Pulsar 及其与 Kafka 的比较。通过快速搜索,你会看到这两个最著名的开源消息传递系统之间正在进行的"战争"。
王知无-import_bigdata
2021/02/05
2.1K0
Kafka扩分区和分区副本重分配之后消费组会自动均衡吗?
Know Streaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,带你一起你参与开源! 。
石臻臻的杂货铺[同名公众号]
2022/11/12
7380
Kafka扩分区和分区副本重分配之后消费组会自动均衡吗?
Kafka-0.开始
在Kafka中,每一个客户端和服务器的连接都以一种简单的,高性能的,语言无关的TCP协议完成。这个协议的版本能够向后维护来兼容旧版本。我们提供了一个Java客户端,但是客户端其实在很多语言中都可用。
悠扬前奏
2019/05/28
6450
Kafka Streams 核心讲解
•Kafka Stream 提供了一个非常简单而轻量的 Library,它可以非常方便地嵌入任意Java应用中,也可以任意方式打包和部署•除了 Kafka 外,无任何外部依赖•充分利用 Kafka 分区机制实现水平扩展和顺序性保证•通过可容错的 state store 实现高效的状态操作(如 windowed join 和aggregation)•支持正好一次处理语义•提供记录级的处理能力,从而实现毫秒级的低延迟•支持基于事件时间的窗口操作,并且可处理晚到的数据(late arrival of records)•同时提供底层的处理原语 Processor(类似于 Storm 的 spout 和 bolt),以及高层抽象的DSL(类似于 Spark 的 map/group/reduce)
java达人
2021/06/21
2.7K0
Kafka Streams 核心讲解
一文读懂Kafka Connect核心概念
Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中,使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。
从大数据到人工智能
2022/01/15
1.9K0
一文读懂Kafka Connect核心概念
kafka环境安装-基于windows
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。--百度百科
逍遥壮士
2021/04/13
4750
kafka环境安装-基于windows
Kafka详细设计及其生态系统
Kafka生态-Kafka Core,Kafka Streams,Kafka Connect,Kafka REST Proxy和Schema Registry Kafak的核心主要有Broker,Topic,日志,分区和集群。该核心还包括相关的工具,如MirrorMaker。 Kafka生态系统由Kafka Core,Kafka Streams,Kafka Connect,Kafka REST Proxy和Schema Registry组成。Kafka生态系统的大多数附件来自Confluent,而不是Apa
用户1263954
2018/01/30
2.2K0
Kafka详细设计及其生态系统
Kafka分区副本与RocketMQ队列的区别
最近在学习 Kafka,发现其核心概念与 RocketMQ 还是存在一定的差别,下面我来说下 Kafka 分区 与 RocketMQ 队列之间的区别。
张乘辉
2019/09/17
3.7K0
Kafka分区副本与RocketMQ队列的区别
Kafka分区与消费者的关系
我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一探究竟。
java架构师
2019/02/22
1.1K0
Kafka分区与消费者的关系
Kafka分区与消费者的关系kafka分区和消费者线程的关系
kafka中的topic可以细分为不同的partition,一个topic可以将消息存放在不同的partition中。
chenchenchen
2022/03/09
5.4K0
Kafka分区与消费者的关系kafka分区和消费者线程的关系
点击加载更多

相似问题

kafka分区重新平衡

120

Kafka分区重新平衡

31

分区重新平衡过程中的Kafka行为

110

kafka分区重新平衡(分配)花费的时间太长

10

kafka如何平衡分区负载?

31
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文