消费组 lag 掉到 0,不一定是追上了。消费者停过,或磁盘水位动过,这个 0 可能是位移被重置到日志末尾,中间的消息不会再投递。CKafka 按已关闭分片删除,不按条删;组位移另有一套保留。
分片固定 1GB,segment.bytes 不能改。活跃分片不参与删除,超过 retention.ms 也要等滚动关闭才有资格被删。滚动先到先滚:写满 1GB,或达到 segment.ms。segment.ms 默认 7 天,范围 1 分钟到 90 天。
retention.ms 默认 3 天,范围 1 分钟到 90 天。retention.bytes 默认不限制;配置范围 1GB 到 1024GB,按分区删旧的已关闭分片。时间和大小满足任一即删,删的是整片。
低流量分区经常写不满 1GB,只能靠时间滚动。官方场景:保留和滚动都是 1 天,最长仍可能到 2 天;保留 1 小时、滚动 1 天,最长 25 小时。默认保留 3 天、滚动 7 天,低流量分区会留得明显更久。log.retention.check.interval.ms=300000,短于 5 分钟的保留也要等这一轮检查。log.retention.ms 随实例保留时间统一设置。
动态消息保留可用于高级版和专业版(固定存储)。专业版(弹性存储)已默认应用磁盘水位策略,不必手动打开。Serverless 无需手动配置。动态保留和磁盘自动扩容同时最多开一个;高级版没有自动扩容。
可配置策略的默认是磁盘到 75% 后,向前调整保留时间 10%,最低保留默认 6 小时,保底可改成 1 分钟到 30 小时,效果有延迟。弹性存储的阈值没有写成这组数字,以控制台为准。
停机预算按保底,不要按配置的保留时间(默认 3 天)。保底 6 小时、消费停得更久,且磁盘到了 75%,已关闭分片会被提前删掉,已提交位移落到 LogStartOffset 之外,下次拉取收到 OFFSET_OUT_OF_RANGE。未同步副本在 leader 切换时被截断,也会越界。
auto.offset.reset 只在没有组位移,或当前位移在服务端已不存在时生效。位移还在 [LogStartOffset, LogEndOffset] 内,就从提交位置接着读,不是每次启动都从最新开始。
客户端指南写明默认 latest:重置到分区最大 offset,不抛异常。earliest 重放剩余历史。none 不重置。文档对 none 的说明是抛出 OffsetOutOfRangeException;组位移不存在时(第一次消费,或空组过期)抛的是 NoOffsetForPartitionException。只接住一个,拉起脚本若换回默认配置,就静默跳到末尾。
Broker 配置 offsets.retention.minutes=10080。Kafka 2.8 的定义是:组变空之后再保留这么久;手动 assign 的消费者从最后一次提交算起。一直在提交的组不会被这个计时器清掉。进程全停满 7 天,消息可能还在,默认 latest 仍会跳到末尾。客户端指南里 enable.auto.commit=true,间隔 5000 毫秒;重置后的自动提交会把新末尾写回去,再查只看到 lag 接近 0。
不能静默跳过的组用 none,并关掉自动提交。session.timeout.ms 必须在 6000 到 300000 毫秒之间,重置文档的默认是 10000。处理上限是 max.poll.interval.ms,指南给出 300000 毫秒。公网 SASL_PLAINTEXT 的用户名是实例 ID、#、控制台用户名;内网协议以控制台为准。示例按 kafka-clients 2.x,类在 org.apache.kafka.clients.consumer 与 org.apache.kafka.common 下。
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.0.12:9092");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "order-consumer");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "none");
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT");
props.put(SaslConfigs.SASL_MECHANISM, "PLAIN");
props.put(SaslConfigs.SASL_JAAS_CONFIG,
"org.apache.kafka.common.security.plain.PlainLoginModule required "
+ "username=\"ckafka-example#reader\" password=\"example-password\";");订阅之后再 poll。业务方法失败必须抛异常,成功后再 commitSync。OffsetOutOfRangeException 或 NoOffsetForPartitionException 抛出时退出,不要 seekToEnd。poll 已把内存里的 position 往前拨,未提交时不要在同一个实例上再 poll,否则会跳过这批。
诊断不要 subscribe,也不要 poll,否则默认配置可能重置并自动提交。committed 不要求分区已分配。props 与上一节相同。
try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) {
List<PartitionInfo> infos = consumer.partitionsFor("orders", Duration.ofSeconds(10));
if (infos == null || infos.isEmpty()) {
throw new IllegalStateException("no metadata for orders");
}
List<TopicPartition> parts = new ArrayList<>();
for (PartitionInfo info : infos) {
parts.add(new TopicPartition("orders", info.partition()));
}
Map<TopicPartition, Long> starts = consumer.beginningOffsets(parts, Duration.ofSeconds(10));
Map<TopicPartition, Long> ends = consumer.endOffsets(parts, Duration.ofSeconds(10));
for (TopicPartition tp : parts) {
OffsetAndMetadata committed = consumer.committed(tp, Duration.ofSeconds(10));
long start = starts.get(tp);
long end = ends.get(tp);
long at = committed == null ? -1 : committed.offset();
System.out.printf("%s at=%d start=%d end=%d%n", tp, at, start, end);
}
}at=-1 是组位移不存在,下次默认配置会跳到末尾。at 小于 start 或大于 end 才是越界;等于 end 是已经读到末尾。这个检查只能抓住还没重置的窗口。
offsetsForTimes 放在上面尚未关闭的 consumer 上。返回 null 不是 offset 0。不要 seek,没有分配分区时会失败。示例只查分区 0,上线时每个分区都要查。
long ago = System.currentTimeMillis() - 10 * 60 * 1000L;
TopicPartition p0 = new TopicPartition("orders", 0);
Map<TopicPartition, Long> query = new HashMap<>();
query.put(p0, ago);
OffsetAndTimestamp pos = consumer.offsetsForTimes(query, Duration.ofSeconds(10)).get(p0);
System.out.println(pos == null ? "timestamp_gone" : Long.toString(pos.offset()));消息还在、位移已经跳过时,到控制台按时间戳重置。重置前停掉该组全部消费者,等 session.timeout.ms(文档默认 10000 毫秒)。活跃组不能直接改。填出当前范围的位置会被夹到边界。log start 前跳、同时 lag 掉到 0,是跳过,不是追上。
retention.ms、滚动仍是 7 天,收不住低流量分区的实际存活。auto.offset.reset=none 和 enable.auto.commit=false。earliest 会重放剩余历史,处理必须幂等。参考文档:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。