首页
学习
活动
专区
圈层
工具
发布
首页标签消息队列

#消息队列

CKafka 堆积归零仍可能丢消息:分片删除与默认重置

一只特立独行的兔先生

消费组 lag 掉到 0,不一定是追上了。消费者停过,或磁盘水位动过,这个 0 可能是位移被重置到日志末尾,中间的消息不会再投递。CKafka 按已关闭分片删除...

6010

低密度市场的跑腿系统改造:LikeShop 县域场景二开实践

用户12910183

“信任营销”在县域跑腿场景里常被误解为一种运营话术。但从工程视角看,它是一组可被拆解的系统约束:地址不规范时能否准确触达,低密度订单能否被经济地合并配送,陌生人...

11100

顺序消费失败会堵住整条队列:本地重试与死信退出

一只特立独行的兔先生

支付处理失败后,同一订单后面的发货没有被别的消费者接走,这条队列停住。TDMQ RocketMQ 顺序消费里,失败消息不让出当前队列。给同一个 Group 加实...

11510

【KafKa】Docker 安装 Kafka 与 Kafbat UI

QuZhengRong

用 Docker 安装单节点 Kafka(KRaft),并安装 Kafbat UI。

11510

【Kafka 源码手记】05 Broker 网络层与请求处理(中):Processor 事件循环与线上的字节

RobinXYuan

上篇我们详细看了 Acceptor 的工作流程,也对 Processor 有了一些简单了解,最后收在安全握手:listener 的身份在 Processor 构...

11710

CKafka acks=all 仍可能丢:ISR 下限和 unclean 选举

一只特立独行的兔先生

支付回调、订单状态这类不能丢的消息,生产端把 acks 设成 all 就当成已经落稳。CKafka 新建 Topic 时,min.insync.replicas...

15710

CKafka 堆积时加消费者无效:分区上限与重均衡暂停

一只特立独行的兔先生

订单 Topic 只有 6 个分区,消费组已经扩到 20 个实例,堆积还在涨。同一个消费组里,一个分区同一时刻只分给一个消费者,多出来的实例空转。先分清是分区卡...

19510

【Kafka 源码手记】05 Broker 网络层与请求处理(上):线程全景、Acceptor 与安全握手

RobinXYuan

上一篇结尾,那条穿过 L4 代理的 MetadataRequest 终于抵达 Broker。门内发生了什么?谁来 accept 这条 TCP 连接、TLS 与 ...

17210

【Kafka 源码手记】04 客户端如何找到 Broker

RobinXYuan

上一篇结尾留下了一条悬念:Producer 「查元数据缓存」查到的那些 Leader 位置,最初是从哪来的?bootstrap.servers 明明只写了一个地...

16910

景区票务系统流量削峰:基于腾讯云TDMQ实现旺季秒杀请求平滑处理

千里达票务系统

这就是典型的流量尖峰问题。直接让数据库扛所有请求,必挂。本文分享基于腾讯云TDMQ消息队列做削峰填谷的实践。

19710

【Kafka 源码手记】03 Kafka 架构总览

RobinXYuan

上一篇我们聊了 Kafka Log 的结构,结尾留了一个问题:单机的 Log 设计得再优秀,受制于单机存储容量上限,一台机器难以装下一个公司的活动数据,也无法做...

14100

TDMQ CMQ 消费幂等:用事务堵住“业务成功、删消息失败”的窗口

一只特立独行的兔先生

CMQ 的消费确认不能替代业务幂等。消费者完成数据库更新后,可能在删除消息前崩溃;消息重新可见后,另一消费者会再次收到它。正确顺序是:用稳定业务事件 ID 去重...

10800

Java异步的2种方式分析

静儿

这种场景下实际上可以通过发送延迟消息队列来完成,A执行时发送一个延迟消息队列,它就可以去干别的事情了,这是安全可靠的做法。但是这个操作有点重,延迟消息队列是有成...

14410

小程序订阅消息总提示“已送达”用户却没收到:模板消息推送的静默失败、重试与退订治理实践

数字化落地笔记

结论先说:订阅消息"送达成功"用户却没收到,十有八九是静默失败——微信返回受理不代表真正进到用户消息列表,超时、退订、一次性订阅被提前消费都会让推送无声消失。本...

33710

物流状态一会儿"已签收"一会儿又"派送中":第三方快递回调重复乱序的幂等、状态机与对账实战

数字化落地笔记

物流轨迹自己往回跳,多半不是快递员把件送回去了,而是第三方回调重复推送、乱序到达,我们又拿回调状态直接覆盖了本地状态。本文复盘一次商城物流状态反复横跳的排查过程...

28100

后台改了菜单价格,几十家门店小程序还显示旧的:门店配置下发的版本号、缓存失效与灰度一致性实践

数字化落地笔记

连锁门店的后台经常要改配置:调价、下架沽清商品、调整营业时间、切换门店活动。运营在总部后台点了保存,以为全渠道立刻生效,实际却经常是另一番景象——有的门店小程序...

23410

下单不付款白白占着库存:订单超时自动关闭的三种方案与踩过的竞态坑

数字化落地笔记

订单量上来后,主力切到消息队列:下单事务提交后发一条延迟消息,延迟时长等于支付超时,消费者到点收到再关单。RocketMQ 原生支持延迟级别,RabbitMQ ...

27310

上千节课程视频集中转码怎么不丢不重:转码任务的MQ削峰、幂等调度与失败重试实践

数字化落地笔记

做过在线教育的大概都遇到过这个场面:学期初老师集中上传课程录像,晚上八九点更是上传高峰,一节几十分钟的视频要转出 720p、480p 好几路码率,单节转码动辄几...

22210

ActiveMQ 生产者异步发送消息设计方案

OBJECT-NEW

生产环境中,ActiveMQ 生产者被封装为同步发送方式。当 Broker 网络抖动、出现 Socket 连接超时(java.net.SocketTimeout...

20310
领券