首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

Kafka 4.0 发布:KRaft 替代 Zookeeper、新一代重平衡协议、点对点消息模型、移除旧协议 API

码哥字节

2025 年 3 月,Apache Kafka 迎来了具有划时代意义的 4.0 版本。这一版本不仅是技术架构的全面革新,更是功能场景的深度拓展。

18410

MQ 如何保证数据一致性?

苏三说技术

上个月,我们有个电商系统出了个灵异事件:用户支付成功了,但订单状态死活不改成“已发货”。

10810

向量数据库-Milvus

用户11572955

Milvus 是一种高性能、高扩展性的向量数据库,可在从笔记本电脑到大规模分布式系统等各种环境中高效运行。它既可以开源软件的形式提供,也可以云服务的形式提供。

6410

抗量子攻击实战:Apache Kafka 2025量子安全版下载及金融级数据流加密教程

万里顾一诚

创建跨云Topic策略文件 config/federation-policy.yaml :

8210

Flink新特性:一条SQL实现Kafka集群间多Topic非结构化数据自动透传同步方案实践总结

用户9421738

kafka连接器表字段支持两种类型:普通字段类型和元数据字段类型。普通字段类型就是实际数据字段的类型,如user_id等等。而元数据字段类型就是kafka消息的...

6810

万亿级 Kafka 消息规模下的降本增效之旅

深度学习与Python

京东内部使用基于 Apache Kafka 构建的 JDQ 来支持其平台业务。JDQ 是京东集团大数据平台统一的实时数据总线,赋能集团内部京东零售、物流、科技、...

8510

从Netflix到Walmart:开源Kafka的实际应用

云云众生s

以下案例研究展示了 Kafka 在四个关键领域的卓越表现:实时数据处理、消息传递、运营指标和日志聚合。

8610

kafka集群部署

运维牛马

在3.5版本发布后,Zookeeper已被标记为弃用并推荐使用KRaft模式部署kakfa集群,但是官方手册也提到了KRaft中仍有一小部分功能有待实现,所以个...

6210

五分钟入门Erlang语言基于brod类库实现操作Kafka案例总结

用户9421738

现场大数据项目Kafka组件大多数使用的语言集中在Java、Python、Go、C++。最近现场需求使用Erlang对接,遂有本文。Erlang是一种函数式并发...

8210

【赵渝强老师】Kafka消息的消费模式

赵渝强老师

Kafka消费者组中的消息消费模型有两种,即:推送模式(push)和拉取模式(pull)。视频讲解如下:

10210

kafka broker的含义

Linux运维技术之路

在 Apache Kafka 中,Broker 是指 Kafka 集群中的一个节点(或服务器)。它是 Kafka 系统的核心组件之一,负责存储和管理消息数据,并...

14610

【赵渝强老师】Kafka的消费者与消费者组

赵渝强老师

消费者就是从Kafka集群消费数据的客户端,下图展示了一个消费者从主题中消费数据的模型。

6810

Kafka工作原理学习

Linux运维技术之路

Apache Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,并于 2011 年开源。Kafka 的设计目标是提供高吞吐量、低延迟的消息传递...

11710

【赵渝强老师】Kafka生产者的消息发送方式

赵渝强老师

Kafka生产者有三种方式进行消息的发送,这三种方式区别在于对于消息是否正常到达的处理。视频讲解如下:

7010

【赵渝强老师】Kafka生产者的执行过程

赵渝强老师

Kafka的生产者Producer将消息序列化之后,发送到对应主题的指定分区上。下图为展示了生产者的执行过程。

6310

工业物联网简易高效的通信库,支持读取、写入、订阅、状态获取、动态数据转发(Kafka、Mqtt、NetMQ、Netty、RabbitMQ)、以及WebApi控制数据采集

Shunnet

欢迎访问 Shunnet.top 的工业物联网简易高效的通信库 所有库支持 .net8 与 .net9 ,不管你的项目是 8 或 9 都可以使用 https:

16210

图解Kafka:架构设计、消息可靠、数据持久、高性能背后的底层原理

腾讯云中间件团队

针对问题2,kafka 提供两类消息发送方式:同步(sync)发送和异步(async)发送,trpc-go 框架中kafka插件相关参数如下:

24110

一夫当关,万夫莫开!Doris Kafka Connector 的“数据全家桶”实时搬运大法(一)

一臻数据

Apache Doris 提供多维度数据摄入能力,除内置 Routine Load 及 Flink 支持读取 Kafka 写入 Doris 方案外,Doris ...

17410

为什么Kafka 不支持读写分离?

代码小李

Kafka 本身的设计并不支持传统的读写分离,这主要是由于其架构和设计目标决定的。以下是 Kafka 不支持读写分离的主要原因:

7010

【大数据技术基础 | 实验十四】Kafka实验:订阅推送示例

Francek Chen

在两台机器上(以slave1,slave2为例),分别部署一个broker,Zookeeper使用的是单独的集群,然后创建一个topic,启动模拟的生产者和消费...

7900
领券