Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
我们非常荣幸地宣布,AutoMQ 与 Aklivity 正式达成战略合作伙伴关系!共同致力于推进云原生实时数据基础设施的演进,助力企业深度释放实时数据的核心价值...
中国的企业软件产业正处在一个“多重压力交汇”的关键十字路口。表面上看,是“白嫖文化”、开源冲击、外包盛行、招标机制扭曲、数科公司挤压、AI颠覆等外部力量在“摧毁...
在前文中,我们从源码层面介绍了 Flink 的 Kafka Connector 的实现。从本文开始,我们的目标也正式从 Flink 过渡到 Kafka。
本文是由 Gemini 生成的 Kafka 学习路径。Gemini 中有一个学习辅导的工具,它可以通过互动问答的形式帮助你由浅入深的学习一个知识点,个人感觉还是...
已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。
某天,突然发现生产环境一些topic的kafka消费者,不再消费新的消息。通过查日志发现,出现如下报错后,消费便卡住了。
在介绍 Kafka Connector 之前,我们先来看一下在 Flink 中是如何支持自定义 Source 和 Sink 的。我们来看一张 Flink 官方文...
Producer 重试、宕机重启,可能造成 消息重复(同一条业务消息写多次 Topic)
在分布式系统架构中,消息队列是实现系统解耦、异步通信、流量削峰的关键组件。而Apache Kafka作为当前最主流的分布式消息中间件之一,凭借其超高吞吐量、高可...
说到kafka调优,不知道大家有没有遇到这类场景。比如,我们团队现在维护一个日活百万的应用,每人每天产生100条日志。光这个数字一出来,就不得了。算笔账:一天就...
自问世以来,Apache Kafka 已确立了其作为分布式消息领域“事实标准”的地位,支撑着全球无数企业的关键业务——从微服务通信到实时分析,应用场景无处不在。
在消息队列选型框架中,Kafka以其高吞吐、可扩展架构成为大数据场景的首选。然而,要真正发挥Kafka的潜力,必须深入理解其核心概念之间的协作关系。本文将全面解...
这些是 Apache Kafka 和相关流处理框架(如 Flink)的配置参数,详细解释每个参数的含义: