错误:无法更改Changelog Kafka主题的segment.bytes
Changelog Kafka主题的segment.bytes是一个配置参数，用于设置Changelog主题中每个分段(segment)的字节数。该参数决定了Changelog主题在磁盘上的存储方式和大小。
Changelog主题是Kafka中的一种特殊主题，用于记录状态存储的变化。当应用程序使用状态存储来维护状态时，Changelog主题会记录状态的变更操作，以便在应用程序发生故障或重新启动时能够恢复状态。
segment.bytes参数的作用是控制Changelog主题中每个分段的大小。分段是Changelog主题在磁盘上的存储单位，当一个分段的大小达到segment.bytes指定的字节数时，Kafka会创建一个新的分段来存储后续的变更操作。
设置segment.bytes的合理值可以在一定程度上平衡存储空间和读写性能。如果segment.bytes设置得太小，会导致频繁创建新的分段，增加存储开销和磁盘IO操作。如果segment.bytes设置得太大，会导致每个分段的大小过大，读写操作的延迟可能会增加。
根据实际需求和系统负载，可以根据以下几个方面来确定segment.bytes的值：
- 存储需求：根据预估的状态变更频率和每次变更的数据量，估算出合理的存储空间需求。根据存储需求来设置segment.bytes的值，以确保足够的存储空间。
- 读写性能：根据应用程序的读写需求和性能要求，选择合适的segment.bytes值。如果应用程序对读写性能要求较高，可以适当增大segment.bytes的值，减少分段的数量，从而减少磁盘IO操作。
- 硬件资源：考虑磁盘容量和性能的限制，确保segment.bytes的值不会超过硬件资源的承载能力。
推荐的腾讯云相关产品和产品介绍链接地址：
腾讯云提供了一系列与云计算相关的产品和服务，包括云服务器、云数据库、云存储、人工智能等。具体推荐的产品和链接地址如下：
- 云服务器（ECS）：提供弹性计算能力，支持多种操作系统和应用场景。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库（CDB）：提供高可用、可扩展的数据库服务，支持多种数据库引擎。了解更多：https://cloud.tencent.com/product/cdb
- 云存储（COS）：提供安全可靠的对象存储服务，适用于各种数据存储和备份需求。了解更多：https://cloud.tencent.com/product/cos
- 人工智能（AI）：提供各种人工智能服务和工具，包括图像识别、语音识别、自然语言处理等。了解更多：https://cloud.tencent.com/product/ai
请注意，以上链接仅供参考，具体产品和服务选择应根据实际需求和情况进行评估和决策。
相关·内容
大家好，我们使用状态式微服务kafka streams和恢复这些微服务需要很多时间，有时所有部署在pod中的微服务都会崩溃，因为初始化需要很长时间。为了减少恢复时间，我们决定将changelog主题的段大小更改为1 GB到100MB，但在日志清理器中，我们看不到任何压缩过程，当我们超过100MB时，不会创建新的.log文件，就像1 GB的旧配置已经被changelog主题使用一样。kafkav 2.0.0
例如：-r
浏览 18提问于2019-11-12得票数 1
回答已采纳
我有一个使用Spring Cloud Stream Kafka的应用程序。对于用户定义的主题，我可以通过下面提到的配置从指定的主题中删除记录。但此配置不适用于DLQ主题。因此，在绑定级别下定义的我的生产者主题(学生主题)配置正确，当主题日志超过指定的保留字节(300000000)时，我可以检查记录是否被删除。但是绑定器级别的保留时间不适用于DLQ
浏览 51提问于2021-03-12得票数 1
回答已采纳
我们通过集成使用Kafka流。我将复制因子配置为在所有内部Kafka流主题中使用，方法是设置它适用于大多数由Kafka流在内部使用的重新分区/变更主题。但是，该设置似乎对通过Materialized#as(StoreSupplier)手动创建的状态存储更改<
浏览 5提问于2020-10-14得票数 1
回答已采纳
我有三个节点的kafka集群，在kafka日志目录中有__consumer_offsets-XX，许多日志文件作为100 as的日志文件用于磁盘位置超过90%，excutes命令：关于主题的图：__consumer_offs
浏览 1提问于2017-01-02得票数 2
1回答
在我的Springboot应用程序中，我使用了kafka-streams:2.7.0。我必须加入两个KStreams并更改内部主题名。：${applicationId}-<storename>-changelog，因此自动生成的主题名称是：
kafka-streams-dev-KSTREAM-JOINTHIS-0000000004-store-changelog我正在用StreamJoined.withStoreName(
浏览 2提问于2022-04-04得票数 0
当我们在kafka streams中的两个KTables之间进行外键连接时，所有的主题都会生成什么？它们包含哪些数据？
浏览 19提问于2021-01-25得票数 0
1回答
我有一个使用Streams 1.1.1的微服务(计划很快升级到2.1 )，即将聚合记录发布到一个压缩的主题(“customer- KTable”)，以供下游微服务作为其输入事件使用。这最终创建了两个主题，它们具有相同信息的完全相同的副本。“customer-events”是一个；另一个是为支持状态存储而在幕后创建的内部事件。两者具有完全相同的键和值。 有没有办法...A)优化内部主题命名约定，这样我们就可以简单地使用支持cha
浏览 21提问于2019-02-05得票数 1
回答已采纳
我尝试使用以下命令设置每个主题的log.retention.bytes已通过执行以下操作验证配置设置
bin/kafka-topics.sh --zookeeper localhost:2181 --describe但我的日志文件在10MB之后仍在增长。$du -
浏览 4提问于2016-08-23得票数 3
1回答
我们正在使用MirrorMaker备份主题。我们注意到，与源集群相比，由Kafka应用程序创建的重新分区主题在目标集群中的大小似乎在不断增加。根据org.apache.kafka.streams.kstream.KStream#repartition()的文档，这是有意义的我们理解得对
浏览 5提问于2021-03-12得票数 3
有没有人知道是否可以将writeStream调用到Kafka主题，其中创建的主题是压缩主题？下面的代码创建了一个Kafka主题，但是传递的选项被忽略了。StreamingQuery query = ds .format("kafka")
.option("kafka.bootstrap.
浏览 0提问于2019-03-18得票数 2
1回答
我正在使用Kafka流，我注意到它使我的kafka日志记录了很多日志消息，例如：
[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.
浏览 1提问于2019-04-17得票数 3
我们增加了用于并行处理消息的分区数量，因为消息的吞吐量很高。一旦我们增加了分区的数量，订阅该主题的所有Streames线程就会死掉。我们更改了消费者组id，然后重新启动了应用程序，它工作正常。我知道应用程序的changelog topic的分区数应该与源topic相同。我想知道这背后的原因。我看到了这个链接- https://issues.apache.org/jira/bro
浏览 23提问于2019-02-12得票数 8
回答已采纳
我使用Kafka Streams进行TimeWindow的一些聚合。我只对每个窗口的最终结果感兴趣，所以我使用了.suppress()特性，该特性为其状态创建了一个changelog主题。此changelog主题的保留策略配置被定义为"compact“，据我所知，它将至少保留过去每个键的最后一个事件。 我的应用程序中的问题是密钥经常改变。这意味着主题将无限增长(每个窗口都
浏览 33提问于2019-02-12得票数 0
回答已采纳
卡夫卡版本- 2.4.0我正在使用kafka-topics.sh脚本来描述__consumer_offsets主题，有以下两个选项时使用--引导服务器
./kafka-topics.sh --bootstrap-server kafka-broker:9092 --describe --topic __consu
浏览 1提问于2020-09-05得票数 0
我已经为我的一个Kafka主题设置了几个主题级覆盖，当我描述这个主题时，我看到：但是，当我查看日志时，这些话题级的吐露似乎没有被遵循。我假设代理信任仍在使用中，它们已将retention.ms/secmen
浏览 2提问于2017-11-29得票数 0
回答已采纳
下面是我正在使用的代码片段，我检查合流页面的优化方法，并遵循建议的更改
浏览 4提问于2020-04-28得票数 1
我们有卡夫卡版本- 0.1kafka-topics.sh --zookeeper zookeeper01grep my_first_car
Topic:my_first_car PartitionCount:100 ReplicationFactor:3 Configs:segment.bytesmy_first_car Partition: 0 Leade
浏览 2提问于2022-03-07得票数 0
回答已采纳
Kafka stream自动设置内部主题的retention.ms和cleanup.policy，例如。物化的KTables。但是，我注意到WindowStoreBuilder创建的日志主题上没有设置retention.ms。 直观地说，日志主题也是内部主题，可以/应该是自动配置的。在我的例子中，商店有很短的保留时间，但默认的retention.ms是5天。恢复本地存储需
浏览 14提问于2020-07-09得票数 2
我有一个Kafka主题，它通过设置cleanup.policy=compact启用了压缩。我的segment.bytes属性被设置为稍微大一点的值(100Mb)，以便我的代理运行良好。如果我有一个使用主题作为GlobalKTable的Kafka streams应用程序，并且主题中的单个分区键有多个记录，那么该应用程序在GlobalKTable中只会收到1条记录，还是会有两条记录，直到压缩开始
浏览 16提问于2020-08-27得票数 1
回答已采纳
我有一个kafka流应用程序，它在其中使用stateStore (由RocksDB支持)。但是我没有明白“改变”卡夫卡主题的目的是什么？
为什么需要它？，statestore和"changelog“kafka主题之间
浏览 0提问于2020-05-01得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
