首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >kafka生产者流量过大,导致consumer停止消费?

kafka生产者流量过大,导致consumer停止消费?

提问于 2022-02-08 07:32:36
回答 0关注 0查看 366

将tidb cdc流量打到kafka中,本地起consumer消费,但是每当生产者流量突然增大时,消费程序就停止消费,拉取不到topic数据,也不报错。

springboot+kafka+批处理+自动提交offset

消费程序如下:

代码语言:js
AI代码解释
复制
@KafkaListener(topicPartitions =
            {@TopicPartition(topic = "${spring.kafka.topic}",
                    partitionOffsets = @PartitionOffset(partition = "0", initialOffset = "${offset}"))
            })
    public void consume(List<ConsumerRecord<String, String>> consumerRecords) {
    .......
    }

消费者配置如下:

代码语言:js
AI代码解释
复制
spring:
  kafka:

    bootstrap-servers: 10.0.20.128:9092
    topic: group_chat_member
    consumer:
      enable-auto-commit: true
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      auto-offset-reset: latest
      group-id: group_consumer
      max-poll-records: 100


    listener:
      ack-mode: batch
      type: batch


    properties:
      max.poll.interval.ms: 1200000
      receive.buffer.bytes: 1073741824

ckafka监控如下:

当生产流量激增时,消费程序会出现消费为0的情况,后续会出现波动消费,或者几个小时不消费,有什么办法可以解决这个问题?

回答

成为首答用户。去 写回答
相关文章
初始 Kafka Consumer 消费者
根据 KafkaConsumer 类上的注释上来看 KafkaConsumer 具有如下特征:
丁威
2019/11/28
1.4K0
kafka生产者Producer、消费者Consumer的拦截器interceptor
1、Producer的拦截器interceptor,和consumer端的拦截器interceptor是在kafka0.10版本被引入的,主要用于实现clients端的定制化控制逻辑,生产者拦截器可以用在消息发送前做一些准备工作,使用场景,如下所示:
别先生
2021/01/13
1.7K0
Kafka核心API——Consumer消费者
在上文中介绍了Producer API的使用,现在我们已经知道如何将消息通过API发送到Kafka中了,那么现在的生产者/消费者模型就还差一位扮演消费者的角色了。因此,本文将介绍Consumer API的使用,使用API从Kafka中消费消息,让应用成为一个消费者角色。
端碗吹水
2020/09/23
1.4K0
Kafka核心API——Consumer消费者
【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查
部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。
皮皮熊
2020/06/02
6.2K0
C# Producer Consumer (生产者消费者模式)demo
第一套代码将producer Consumer的逻辑写到from类里了,方便在demo的显示界面动态显示模拟生产和消费的过程。 第二套代码将producer Consumer的逻辑单独写到一个类中,使用委托的方法在from中回显生产消费的过程。 Demo中均以3个线程作为消费者,1个线程作为生产者为例。 。
zls365
2021/01/13
1.4K0
C# Producer Consumer (生产者消费者模式)demo
Kafka Consumer
Kafka Consumer消费以组的方式划分,Topic中的每一个分区只会分给同一个组中的其中一个实例。这是基于队列模式,如果想基于发布订阅模式,那订阅同一个Topic的实例需要指定不同的组名。
shysh95
2020/03/31
1.3K0
Kafka之Consumer获取消费数据全过程图解
这篇文章是作为:跟我学Kafka源码之Consumer分析 的补充材料,看过我们之前源码分析的同学可能知道。 本文将从客户端程序如何调用Consumer获取到最终Kafka消息的全过程以图解的方式作一个源码级别的梳理。
小程故事多
2018/08/22
9730
Kafka之Consumer获取消费数据全过程图解
Kafka consumer 解析
上一篇说了Kafka consumer的处理逻辑、实现原理及相关的特点,本篇来看看Kafka 另一个client Consumer,作为生产者消费者的另一端,consumer提供了消费消息的能力,下面来看看Kafka中的consumer 应该如何正确使用及实现原理。
邹志全
2019/07/31
8630
关于MQ,你了解多少?(干货分享之二)
导语 本文梳理笔者 MQ 知识,从消息中间件的基础知识讲起,在有了基础知识后,对市面上各主流的消息中间件进行详细的解析,包括 RabbitMQ、RocketMQ、Kafka、Pulsar,最后再横向对比这几款主流的消息中间件。本篇是系列文章第二篇。  RocketMQ 基础概念 Tag Tag(标签)可以看作子主题,它是消息的第二级类型,用于为用户提供额外的灵活性。使用标签,同一业务模块不同目的的消息就可以用相同 Topic 而不同的 Tag 来标识。比如交易消息又可以分为:交易创建消息、交易完成消息等
腾讯云中间件团队
2023/04/19
6390
关于MQ,你了解多少?(干货分享之二)
Apache Kafka学习
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。
chimchim
2023/10/17
3510
Apache Kafka学习
Kafka Consumer Reblance
Kafka常见的消费模式会以组进行组织,通常Kafa会将Topic的分区均匀的分配给同一个组下的不同实例,通常的策略有以下三种:
shysh95
2020/03/31
6340
Kafka Producer Consumer
org.apache.kafka.clients.producer.KafkaProducer
java架构师
2019/01/28
5540
Kafka Producer Consumer
Kafka最基础使用
消息发送者生产消息发送到消息队列中,然后消息接收者从消息队列中取出并且消费消息。消息被消费以后,消息队列中不再有存储,所以消息接收者不可能消费到已经被消费的消息。
ha_lydms
2023/08/10
3860
Kafka最基础使用
进击消息中间件系列(六):Kafka 消费者Consumer
pull模式不足之处是如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。
民工哥
2023/08/22
1.4K0
进击消息中间件系列(六):Kafka 消费者Consumer
kafka-3python生产者和消费者
启动的时候先启动product再启动consumer,毕竟只有发了消息,消费端才有消息可以消费,
py3study
2020/01/03
5660
Kafka Consumer重置Offset
在Kafka Version为0.11.0.0之后,Consumer的Offset信息不再默认保存在Zookeeper上,而是选择用Topic的形式保存下来。
迹_Jason
2019/05/28
10.5K0
Kafka Consumer的配置
FlinkKafkaConsumer08可以消费一个或多个Kafka topic的数据,它的构造器需要接收以下参数:
加米谷大数据
2018/07/25
1.9K0
Kafka Consumer的配置
7.【kafka运维】 kafka-consumer-groups.sh消费者组管理
先调用MetadataRequest拿到所有在线Broker列表 再给每个Broker发送ListGroupsRequest请求获取 消费者组数据
石臻臻的杂货铺[同名公众号]
2021/08/16
8.8K0
初识kafka中的生产者与消费者
7. broker判断是否消息失败,成功则直接返回元数据【可选】,失败判断是否重试,对应做相应处理
爬蜥
2019/07/09
1.7K0
使用多数据中心部署来应对Kafka灾难恢复(一)使用多数据中心部署来应对灾难恢复
数据中心宕机和数据丢失能导致企业损失很多收入或者完全停摆。为了将由于事故导致的宕机和数据丢失带来的损失最小化,企业需要制定业务可持续性计划和灾难恢复策略。
扫帚的影子
2018/12/28
1.6K0
相关问答用户
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档