卡夫卡消费者滞后监测可视化
我是卡夫卡的新手。在对卡夫卡的研究中，我认为监测消费者的滞后是必要的。当我从谷歌和文档中搜索时，我找不到什么方法。
- Kafka - Prometheus - graphana
- kafka - burrow - someDB - graphana
- kafka -burrow_stat？(我不明白这是什么)
- kafka- datadog我想问的是文件上说洞穴是用于监视的，我能像图表(仪表板)一样可视化吗？没有其他工具，如石墨树、基巴纳或datadog??
。
我只是想少走几步路。想象消费者滞后的简单方法应该是什么？
回答 3
Stack Overflow用户
发布于 2020-08-05 13:22:30
如果你是在一个组织中进行设置，那么datadog或prometheus很可能是你要走的路。您也可以捕获其他与Kafka相关的指标。这些代理还与卡夫卡之外的许多其他工具集成，将是一个很好的共同选择，用于监控。
如果您只是为了一个项目的个人POC类型而只想查看的滞后，我发现CMAK非常有用(https://github.com/yahoo/CMAK)。这就使得没有的历史数据，而是提供了一个很好的当前卡夫卡集群的视觉状态，包括滞后。
Stack Overflow用户
发布于 2020-08-06 08:15:49
对于集群范围的度量，您可以使用kafka_exporter (https://github.com/danielqsj/kafka_exporter)，它公开了一些非常有用的集群度量(包括消费者滞后)，并且易于与prometheus集成并使用grafana进行可视化。
Stack Overflow用户
发布于 2020-12-06 16:24:17
Burrow非常有效，并且专门监视消费者，lag.Burrow擅长测量消费者的偏移量，更重要的是验证延迟是否是恶意的。它与分页任务集成，以便将警报推送到必要的各方。
https://community.cloudera.com/t5/Community-Articles/Monitoring-Kafka-with-Burrow-Part-1/ta-p/245987
洞穴有什么：
基于downs.
- Integration的
- 非阈值滞后监测算法能够用pagerduty
- Exporters对prometheus进行评估，AppD等用于历史metrics
- Pluggable UI
如果您正在寻找快速解决方案，您可以部署钻孔，然后是钻孔前端https://github.com/GeneralMills/BurrowUI
https://stackoverflow.com/questions/63259337
复制相似问题
腾讯云开发者
