Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >kafka 有几种数据保留的策略

kafka 有几种数据保留的策略

作者头像
程序狗
修改于 2021-09-03 02:44:49
修改于 2021-09-03 02:44:49
2.7K0
举报
文章被收录于专栏:大数据知识大数据知识

kafka 有两种数据保存策略:

1、按照过期时间保留

2、按照存储的消息大小保留

Kafka Broker默认的消息保留策略是:要么保留一定时间,要么保留到消息达到一定大小的字节数。

当消息达到设置的条件上限时,旧消息就会过期并被删除,所以,在任何时刻,可用消息的总量都不会超过配置参数所指定的大小。

topic可以配置自己的保留策略,可以将消息保留到不再使用他们为止。

因为在一个大文件里查找和删除消息是很费时的事,也容易出错,所以,分区被划分为若干个片段。默认情况下,每个片段包含1G或者一周的数据,以较小的那个为准。在broker往leader分区写入消息时,如果达到片段上限,就关闭当前文件,并打开一个新文件。当前正在写入数据的片段叫活跃片段。当所有片段都被写满时,会清除下一个分区片段的数据,如果配置的是7个片段,每天打开一个新片段,就会删除一个最老的片段,循环使用所有片段。

kafka 同时设置了 7 天和 10G 清除数据,到第五天的时候消息达到了 10G,这个时候 kafka 将如何处理?

这个时候 kafka 会执行数据清除工作,时间和大小不论那个满足条件,都会清空数据。

了解更多java培训技术面试题欢迎关注小编专栏!

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Kafka 12问
kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。
用户7353950
2022/05/11
4190
Java 最常见的 208 道面试题:第十五模块答案
kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。
Java团长
2019/04/25
5540
Java进阶面试精选系列:RabbitMQ+Kafka+Zookeeper+MySql+Redis+JVM
小编精心收集:为金三银四准备,以下面试题先过一遍,为即将到了的面试做好准备,也过一遍基础知识点。
慕容千语
2019/06/11
1.3K0
2万长文搞懂Kafka
生产者:Producer 往Kafka集群生成数据消费者:Consumer 往Kafka里面去获取数据,处理数据、消费数据Kafka的数据是由消费者自己去拉去Kafka里面的数据主题:topic分区:partition 默认一个topic有一个分区(partition),自己可设置多个分区(分区分散存储在服务器不同节点上)
用户4283147
2022/10/27
4720
2万长文搞懂Kafka
初识Kafka
用生产者客户端 API 向 Kafka 生产消息,用消费者客户端 API 从 Kafka 读取这些消息。
真正的飞鱼
2023/03/23
6490
初识Kafka
Kafka权威指南 —— 1.2 初识Kafka
什么是Kafka Apache Kafka是一个基于分布式日志提交机制设计的发布订阅系统。数据在kafka中持久化,用户可以随时按需读取。另外数据以分布式的方式存储,提高容错性,易于扩展。 Message和Batches Kafka中最基本的数据单元是消息message,如果使用过数据库,那么可以把Kafka中的消息理解成数据库里的一条行或者一条记录。消息是由字符数组组成的,kafka并不关系它内部是什么,索引消息的具体格式与Kafka无关。消息可以有一个可选的key,这个key也是个字符数组,与消息
用户1410343
2018/03/26
1.5K2
Kafka权威指南 —— 1.2 初识Kafka
初识kafka
当消息写入不同分区时需要可控,可以用到键,如对键进行一致性hash。第3章将详细介绍键的用法。
蚬爷
2020/08/25
4000
​kafka概述 01 0.10之后的kafka版本有哪些有意思的feature?【kafka技术图谱 1/50】
# **kafka release reviews: what happen from kafka 0.10 to 2.6*
大数据事务所-大菜菜
2021/09/09
1K0
​kafka概述 01 0.10之后的kafka版本有哪些有意思的feature?【kafka技术图谱 1/50】
你都知道那些Kafka副本机制?
在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失,那你知道他的机制是什么样的吗?本篇文章就带给大家讲解下。
大数据老哥
2021/02/04
7440
你都知道那些Kafka副本机制?
初识kafka对消息处理与可靠性做出的保证
2. 所有的同步副本写入了消息时,才会被认为已经提交 3. 只要有一个副本是活跃的消息就不会丢失 4. 消费者只能提取已经提交的消息
爬蜥
2019/07/09
7510
Kafka 原理详解
kafka的消息是存储在硬盘上的,因为“磁盘慢”这个普遍性的认知,常常使人们怀疑一个这样的持久化结构是否能提供所需的性能。但实际上磁盘因为使用的方式不同,它可能比人们预想的慢很多也可能比人们预想的快很多;而且一个合理设计的磁盘文件结构常常可以使磁盘运行得和网络一样快。
yingzi_code
2019/08/31
1.8K0
2020版中间件面试题总结(RabbitMQ+Kafka+ZooKeeper)
延迟信息处理,比如10分钟之后给下单未付款的用户发送邮件提醒。解耦系统,对于新增的功能可以单独写模块扩展,比如用户确认评价之后,新增了给用户返积分的功能,这个时候不用在业务代码里添加新增积分的功能,只需要把新增积分的接口订阅确认评价的消息队列即可,后面再添加任何功能只需要订阅对应的消息队列即可。
程序员追风
2020/11/08
1.2K0
Kafka使用分享
业务每天会产生大量日志,日志规模庞大,因为业务日志量大,滚动频繁,不可能永久保存,只能定时收集日志,将业务日志归集到一个中心,再做计算。对于实时收集的日志需要一个缓存队列来存储。
用户1088171
2019/02/26
1.1K0
05 Confluent_Kafka权威指南 第五章: kafka内部实现原理
为了在生产环境中运行kafka或者编写使用它的应用程序,并不一定要理解kafka的内部原理。然而,理解kafka的工作原理,有助于故障排查,理解kafka的工作行为。具体代码实现细节本书不做深入描述,但是,kafka有关的从业人员,必须关注如下三个内容:
冬天里的懒猫
2020/08/03
7930
Kafka集群原理
Kafka 使用 Zookeeper 来维护集群成员的信息。每个 broker 都有一个唯一标识符,这个标识符可以在配置文件里指定,也可以自动生成。在 broker 启动的时候,它通过创建临时节点把自己的 ID 注册到 Zookeeper。Kafka 组件订阅 Zookeeper 的 /broker/ids 路径,当有 broker 加入集群或退出集群时,这些组件就可以获得通知。
全栈程序员站长
2022/08/10
1.2K0
Kafka集群原理
Kafka 提供哪些日志清理策略?
在 Kafka 的日志管理器中会有一个专门的日志删除任务来周期性地检测和删除不符合保留条件的日志分段文件,这个周期可以通过 broker 端参数 log.retention.check.interval.ms 来配置,默认值为300000,即5分钟。当前日志分段的保留策略有3种:
码农架构
2021/03/21
2.6K0
Kafka 提供哪些日志清理策略?
带你涨姿势的认识一下kafka
kafka 现在在企业应用和互联网项目中的应用越来越多了,本篇文章就从 kafka 的基础开始带你一展 kafka 的宏图
cxuan
2019/10/15
9160
带你涨姿势的认识一下kafka
02 Confluent_Kafka权威指南 第二章:安装kafka
本章节描述了如何安装apache kafka的broker,以及如何设置apache zookeeper,zookeeper被用于存储broker的元数据。本章节还将介绍kafka的基本配置,以及broker运行的硬件标准。最后,我们将介绍多实例集群的安装方法,以及在生产环节中使用kafka时需要注意的一些问题。
冬天里的懒猫
2020/08/04
1.3K0
02 Confluent_Kafka权威指南 第二章:安装kafka
kafka消息面试题
按消息键保序策略:一旦消息被定义了 Key,那么你就可以保证同一个 Key 的所有消息都进入到相同的分区里面,由于每个分区下的消息处理都是有顺序的,故这个策略被称为按消息键保序策略
Michel_Rolle
2024/05/08
2.7K0
Kafka【入门】就这一篇!
Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。
我没有三颗心脏
2019/07/18
4530
Kafka【入门】就这一篇!
相关推荐
Kafka 12问
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档