【kafka异常】kafka 常见异常处理方案(持续更新! 建议收藏)

文章目录

• • • 1. Leader的epoch过时
    • 2. 修改Broker.id出现异常
    • 3. 文件加锁失败 Failed to acquire lock on file .lock in
    • 4. 发送消息报错 UNKNOWN_TOPIC_OR_PARTITION

日常运维 问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台

1. Leader的epoch过时

The leader epoch in the request is older than the epoch on the broker

--

Partition $topicPartition marked as failed

解决方法

说明 当前分区的Leader的epoch比Broker的epoch老 所以导致follow去fetchleader的时候报错； 只要重新发生一下Leader选举就行了;

2. 修改Broker.id出现异常

Configured broker.id 0 doesn't match stored broker.id 1 in meta.properties.
 If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).

出现这种情况一般是 你可能中途修改了Broker的配置broker.id; 又或者修改了log.dir路径,然后这个路径之前存在； 你可以看看log.dir文件夹下面的meta.properties #Wed Jun 23 17:59:02 CST 2021 broker.id=0 version=0 cluster.id=0 这里面的内容是之前的配置,你修改了broker.id之后跟这里不一致就抛出异常了;

解决方法

如果这个log.dir是属于这个Broker的,那么将server.properties 的broker.id修改成更meta.properties一致就行 如果你就是想修改一下BrokerId; 那么你需要把meta.properties中的broker.id该了; 反正最终是要让meta.properties和server.properties 中的broker.id保持一致;

如果这个log.dir是是以前的废旧数据的话,那你还是换一个路径好了;server.properties中的log.dir换个路径

修改Broker.id可能出现的异常

其实不是很建议修改BrokerId; 修改BrokerId可能会存在一些问题,比如

1. 当前正在进行数据迁移; zk上的保存的还是原来的 broker.Id; 那就会导致这台Broker迁移失败
2. 当你修改的 broker.Id; 那么如果配置了动态配置的话, 就不会生效了；所以你要记得把原来的动态配置添加回来; zk节点是:/config/brokers/{brokerID}
3. other

meta.properties作用

其实通过这里你应该也可以理解为什么会存在meta.properties 这个文件; 他就是用来保持这个log.dir之前的Broker.id和cluster.id=0还有version的；因为你server.properties里这个个配置可以随便更改,难免会有出错; kafka会将你的配置跟这个meta.properties信息作对比,提醒你的配置不正确;

3. 文件加锁失败 Failed to acquire lock on file .lock in

 Failed to acquire lock on file .lock in /Users/xxxx/work/IdeaPj/xxx/kafka/kafka-logs-0. A Kafka instance in another process or thread is using this directory.

异常原因：

Broker在启动的时候,会把log.dirs加上一个文件锁，以防其他程序对它进行篡改; 出现这种异常表示已经有一个程序对文件夹加上了锁了; 所以获取失败;

解决方法

这个时候你要检查一下,这个Broker是否已经启动过了，或者两个Broke中log.dirs配置了相同的文件夹; 如果上面你确定没有问题，那你还可以把相应的文件夹的.lock文件删掉; 强制去掉锁文件; (不建议这样操作)

4. 发送消息报错 UNKNOWN_TOPIC_OR_PARTITION

WARN [Producer clientId=console-producer]  Error while fetching metadata with correlation id :  {test80=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)

异常原因：

发送的TopicPartition不存在; 要么是Topic不存在 要么是发送过去的Partition不存在

解决方法

1. 检查一下是不是Topic不存在
2. 检查一下发送的Partition所在的Broker宕机了,导致发送失败（特别是发送消息的时候指定了分区号比较容易出现这个问题）
3. 检查是不是Topic所在的Broker全部宕机了;

关于作者：石臻臻的杂货铺, 专注于 Java领域、大数据领域 等知识分享, 内容多为 原理 、源码、实战 等等, 坚持输出干货,所写内容必定经过验证,并深入源码分析,保证内容准确性, 长期在CSDN、和公众号【石臻臻的杂货铺】发布原创文章,欢迎关注! 如果有相关技术领域问题,欢迎进群交流,各个领域都有专人解答,你所问的,都会得到回应!

欢迎 Star和 共建由 滴滴开源的kafka的管理平台 满足所有开发运维日常需求

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台