kafka - 标签 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

首页标签kafka

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

别再上来就堆 Redis！点赞系统从打挂数据库到 18w 写峰值，我把这套方案讲透了

Rain的Java大神之路 16小时前2026-10-21 10:10:33

爆款视频瞬间涌进几十万点赞，按钮卡 3 秒，数据库行锁排到爆——这场景我真遇到过。这篇文章把高并发点赞&关注的完整方案讲透：瓶颈定位、架构演进、生产级代码、踩坑...

3100

百万并发直播弹幕系统设计全解：看懂了扇出，你就看懂了高并发的八成

Rain的Java大神之路 1天前2026-10-20 10:16:37

主播一句“来波 666”，背后是每秒十万级写入、一条弹幕送达百万人的残酷现实。逐条推送？10 万 QPS × 100 万在线 = 100 亿次/秒，物理上不可能...

5910

【Kafka 源码手记】01 从消息队列到 Event Streaming

RobinXYuan 4天前2026-10-17 22:23:53

写这个系列之前，我觉着有必要先搞清楚一件事：Kafka 出现之前，世界是什么样的。2010 年 LinkedIn 着手做 Kafka 的时候，ActiveMQ ...

7900

【Kafka 源码手记】01 从消息队列到 Event Streaming

RobinXYuan 4天前2026-10-17 22:23:53

写这个系列之前，我觉着有必要先搞清楚一件事：Kafka 出现之前，世界是什么样的。2010 年 LinkedIn 着手做 Kafka 的时候，ActiveMQ ...

7900

开源数据库管理工具 CloudDM 支持 Kafka、SAP HANA 数据源

ClouGence 8天前2026-10-13 11:44:44

CloudDM 是一款免费且开源的团队化数据库管理工具，提供统一 Web 数据库访问、权限控制、数据脱敏、SQL 审核、流程协同和数据库 CI/CD 等能力。

6500

Kafka生产端实际项目中的使用分析

静儿 18天前2026-10-03 08:11:27

Kafka原理和使用的文章网上很多了，这里只做总体性的概述，拉齐下知识背景。不是本文的重点。

11910

Kafka消费端怎样保证消息不丢失？真正的处理方式其他文章中竟然没有见过

静儿 19天前2026-10-02 08:11:25

之前kafka消费端采用的是standalone模式，使用的是单分片。消费端指定分片0。使用了zookeeper进行选主。只在主节点进行消费。这个选主的过程要几...

12210

Iceberg 把删除重做了三遍，v3 这一遍才算做完

用户12788355 22天前2026-09-29 20:15:53

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

13110

Kafka 接入 AI 的三条路线：第一方 MCP Server 提案、Streams 会话记忆、Flink SQL 实时上下文，附选型对比与权限清单

程序员天天困 2026-09-162026-09-16 11:33:27

翻 Kafka 4.3 发布公告时我愣了一下：致谢名单里写着 Claude、Claude Sonnet 4.6 和 Copilot。一个消息队列的版本发布，贡献...

16610

后端稳定性｜容错四大金刚：超时（五）MQ、异步、线程池阻塞全套治理（超时系列收官）

锡东 2026-07-312026-07-31 22:09:09

同步 HTTP 接口有网关、RPC 客户端双层超时兜底，卡住请求会快速释放 Tomcat 线程；但 MQ 消费、异步任务、定时任务属于常驻后台线程模型，线程不依...

26800

那些每秒抓取数万次的系统，底层架构到底是怎么设计的？

jackcode 2026-07-272026-07-27 11:29:41

去年有个项目，需求听着不复杂：每天采集大概8亿个网页。算一下就是平均9000+ QPS，峰值可能到2万到3万。我当时的反应是"用Scrapy加几个代理不就行了"...

21910

Kafka 监控这块我踩了两年坑，今天把从 JMX 到 Grafana 的全套方案掏给你

悠悠12138 2026-07-232026-07-23 19:44:54

这套配置我整理成了完整的文件，包括 JMX Exporter 的 yml、Prometheus 的 scrape 和 rules、还有那几个 Grafana 大...

40100

一次 Kafka 集群磁盘写满后，我把这些底层原理全捋了一遍

悠悠12138 2026-07-222026-07-22 18:53:27

上个月某天凌晨，告警群里突然炸了：Kafka 集群某台 broker 磁盘使用率 95%，马上要撑爆。

37310

Python 调用Kafka实例分析与应用

用户11081884 2026-07-202026-07-20 20:14:56

本文基于一个实际案例展开：在 Windows 上搭建 Kafka 本地环境，用 kafka-python 写生产者和消费者，并处理连接时遇到的网络线程异常。以下...

21900

大错特错! “你不需要 Kafka，用 Postgres 就够了” 到底谁的错?

用户4035096 2026-07-092026-07-09 19:43:45

我反对, 我就干过这样的事, 但是作者没有说用advisory lock, 这个才是王道啊, 别用长事务来抨击PG, 明显是设计有问题, advisory lo...

18500

日志实时分析方案： EMR + Flink + Kafka 完整架构

hollyx 2026-07-082026-07-08 14:10:00

摘要：本文介绍基于腾讯云弹性 MapReduce （ EMR ）、 Flink 和 Kafka 构建日志实时分析完整架构的方案。该方案涵盖日志采集、消息队列缓...

34900

#kafka

别再上来就堆 Redis！点赞系统从打挂数据库到 18w 写峰值，我把这套方案讲透了

百万并发直播弹幕系统设计全解：看懂了扇出，你就看懂了高并发的八成

【Kafka 源码手记】01 从消息队列到 Event Streaming

【Kafka 源码手记】01 从消息队列到 Event Streaming

开源数据库管理工具 CloudDM 支持 Kafka、SAP HANA 数据源

Kafka生产端实际项目中的使用分析

Kafka消费端怎样保证消息不丢失？真正的处理方式其他文章中竟然没有见过

Iceberg 把删除重做了三遍，v3 这一遍才算做完

Kafka 接入 AI 的三条路线：第一方 MCP Server 提案、Streams 会话记忆、Flink SQL 实时上下文，附选型对比与权限清单

后端稳定性｜容错四大金刚：超时（五）MQ、异步、线程池阻塞全套治理（超时系列收官）

那些每秒抓取数万次的系统，底层架构到底是怎么设计的？

Kafka 监控这块我踩了两年坑，今天把从 JMX 到 Grafana 的全套方案掏给你

一次 Kafka 集群磁盘写满后，我把这些底层原理全捋了一遍

Python 调用Kafka实例分析与应用

大错特错! “你不需要 Kafka，用 Postgres 就够了” 到底谁的错?

日志实时分析方案： EMR + Flink + Kafka 完整架构

热门专栏

腾讯云中间件的专栏

公有云大数据平台弹性 MapReduce

谢海林的专栏

ZNing·腾创库

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐