1回答
我想从Python应用程序中监控我的Kafka集群中的消费者组(基于Kafka的组，而不是ZK) (我愿意使用Kafka-python库和confluent Kafka客户端中的任何一个)。其目的是根据每个消费者组的滞后推出更多(或删除一些)消费者。
confluent Kafka admin API似乎没有Python选项来实现这一点。Burrow似乎是一种选择。但这将是一个额外的服务来设置和监控。
任何替代方法也是受欢迎的。我正在寻找这样做的最佳实践。
谢谢!
浏览 2提问于2018-08-13得票数 0
是否有Kafka监控指标、Java API或JMX bean来获取Kafka集群中每个主题的磁盘使用情况？ 有没有办法确定集群的总磁盘使用量，包括所有主题/分区/副本？
浏览 58提问于2020-09-10得票数 0
回答已采纳
2回答
我正在尝试为我的项目监控Kafka spout的性能。我使用的是apache-storm-0.9.2-孵化版本中包含的KafkaSpout。
可以使用kafka偏移量监控工具监控kafka spout的吞吐量吗？有没有其他更好的方法来监控喷嘴？
谢谢，Palak Shah
浏览 2提问于2014-10-09得票数 0
我已经在生产中搭建了一个Kafka & Zookeeper集群。我需要设置INSTANA APM工具来监控和管理生产Kafka & Zookeeper集群。有没有人曾经使用INSTANA来监控Kafka。请分享您对此的看法。
浏览 33提问于2019-04-10得票数 3
IBM内部监控云上提供的服务，但不知何故，我需要获得中间件服务的状态，如kafka，API Connect等。它将帮助我自动化一些服务停止/不可访问的事情。
浏览 13提问于2019-10-14得票数 0
回答已采纳
有没有办法使用nagios监控我的kafka集群？有没有需要检查的工作插件、api或其他东西:代理状态、分区状态、内存状态、当前偏移量以及集群中所有有价值的指标？
浏览 12提问于2017-12-12得票数 1
有没有开源工具来监控融合的Kafka？大多数可用的开源工具都是特定于Apache Kafka的，但不是针对Confluent Kafka的。
我们希望至少监控连接器、流和集群的运行状况
浏览 3提问于2017-07-04得票数 0
1回答
我们有一个WebSocket服务器，它为每个WebSocket客户端创建一个单独的消费者组，这样每个WebSocket用户就可以相互独立地接收来自Kafka主题的更新。我们使用camel API来创建Kafka消费者(组)，它使用了Kafka原生Java API，所以这与Camel没有任何关系，但提到camel只是一个FYI。
通过使用JMX和JMC监控，我们发现Kafka心跳线程被阻塞，并且对于每次新的WebSocket客户端加入时创建的每个新消费者组，被阻塞线程的数量呈指数级增长。附加屏幕截图以了解更多详细信息。想知道为什么Kafka消费者/心跳会导致如此高的线程争用，从而影响整体应用程序
浏览 1提问于2018-11-06得票数 1
1回答
我有一个运行Kafka消费者的应用程序，并希望监控从主题消耗的每条消息的处理时间。该应用程序是一个Spring引导应用程序，并使用micrometre注册表将Kafka消费者指标公开给Spring Actuator Prometheus端点。我可以使用kafka_consumer_commit_latency_avg_seconds或kafka_consumer_commit_latency_max_seconds来监控或报警吗？
浏览 1提问于2020-09-21得票数 0
我试图让JMX监控来监控一个测试kafka实例。
我有卡夫卡(千斤顶/卡夫卡)运行在码头通过boot2docker，但我不能得到正确配置的JMX监控。我已经做了大量的故障排除，我知道kafka实例正在正常运行(消费者和生产者都在工作)。当我尝试简单的JMX工具(j控制台和jvisualvm)而两者都无法连接(不安全的连接错误，连接失败)时，就会出现问题。
配置注意事项:我连接到192.168.59.103 (运行'boot2docker ip‘时发现的virtualbox ip)，ches/boot2docker/ kafka实例使用端口7203作为JMX_PORT (在kafka启动
浏览 1提问于2015-07-01得票数 2
回答已采纳
2回答
我正在采用Kafka，并试图了解如何监控它(例如，它是否耗尽了用于日志存储的内存)。我看到它使用Yammer Metrics并通过JMX公开它们-这对Java领域的人来说显然是有意义的。
有没有可以构建的HTTP API？或者是任何一种相对结构化的输出？
浏览 7提问于2015-03-18得票数 2
我们有没有办法通过编程的方式在Kafka Consumer中找到滞后。我不希望外部Kafka管理器工具安装和检查仪表板。
我们可以列出所有消费者组，并检查每个组的lag。
目前我们确实有检查lag的命令，它需要Kafka所在的相对路径。
Spring-Kafka、kafka-python、Kafka Admin client或使用JMX -有没有什么方法可以让我们编码并找出延迟。
我们粗心大意，没有监控进程，消费者处于僵尸状态，延迟达到50,000，这导致了很多混乱。
只有当问题出现时，我们才会想到这些情况，因为我们正在监控脚本，但不知道它会导致僵尸进程。
非常欢迎任何想法！！
浏览 0提问于2019-08-01得票数 0
1回答
我正在寻找任何可用的Kafka开源监控工具。我在Kafka 0.10.0上显然，一些开源工具如yahoo kafka-manager和kafka-web-console是不兼容的。只是想知道是否有其他可用的工具可以与最新版本一起工作。
浏览 6提问于2016-10-05得票数 1
回答已采纳
我们有6个brokers的Kafka集群(v0.8.1.1)，如何在集群级别监控磁盘使用率。我想监控集群级别的总可用磁盘空间。
浏览 3提问于2016-08-30得票数 0
我正在为我的大学项目学习Kafka，我想知道记录技术来监控Kafka生产者每秒产生的消息数量。
谢谢你的帮助。
浏览 22提问于2019-12-03得票数 0
回答已采纳
我使用的是Kafka Java客户端，有时我们在Kafka Server中会有一些停机时间。我们需要向监控系统发送Kafka服务器不可用的警报。
从Java客户端对Kafka服务器进行健康检查的最佳方式是什么？
浏览 1提问于2018-05-08得票数 0
在将kafka与logstash连接时，我如何监控和检测错误。
比如说，我的卡夫卡经纪人破产了，卡夫卡和洛什之间没有任何联系。
有没有办法让监视器知道洛什和卡夫卡之间的连接状态？我可以查询logstash日志(但我不认为这是合适的方法)，我尝试使用logstash监视API (例如localhost:9600/_node/stats/管道?漂亮)，但是没有api给我关闭连接状态。
提前谢谢你
浏览 5提问于2022-05-02得票数 0
回答已采纳
我编写了一个java程序来使用kafka的消息。我想监控消费滞后，如何通过java获得它？
顺便说一句，我用：
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>0.10.1.1</version>
提前谢谢。
浏览 27提问于2017-02-13得票数 11
回答已采纳
我在AWS上运行的Rancher Kuberenetes环境中部署了Strimzi Operator。我使用Strimzi操作符用3个代理部署我的Kafka集群。我的集群运行良好，我可以进行生产和消费。现在我想使用Prometheus和Grafana来监控Kafka集群。我使用的是2.2.6版本的Rancher，所以它是随Prometheus和Grafana一起提供的，我想用它来进行监控。
我尝试了Strimzi运算符上的文档，但无法获得文档中提供的指标。我的Grafana仪表板显示为NA或0。事实上，我的Kafka集群运行的命名空间也没有显示u。您能否提供帮助，如何使用Rancher中内置的
浏览 15提问于2019-08-05得票数 0
2回答
我正在尝试在监控模式下运行kafka，这样它就可以在关机时自动启动。但是，运行kafka的所有示例都使用shell脚本，并且supervisord无法指出要监视哪个PID。有没有人能建议一下如何实现kafka的自动重启？
浏览 2提问于2014-01-16得票数 1
我有多个Kafka消费者和生产者，有不同的主题。使用一个独立的应用程序，我想要监控kafka消费者的滞后。
我正在使用kafka 0.10.0.1，因为Kafka现在将消费者偏移量存储在kafka本身中，所以我如何才能读取相同的偏移量。
我能够读取每个分区的主题偏移量。
浏览 0提问于2017-03-06得票数 0
有没有人能帮我理解一下这个kafka broker的监控指标？我试着阅读了文档和一些文章，但我不清楚如何监控这些指标，以避免对prod环境中的kafka代理造成任何伤害。在我的prod环境中，对于此指标，我看到峰值达到每秒5k，但随后又回到每秒2k甚至更低。
每条消息的字节数也是如此。
任何详细的解释都会很有帮助。
浏览 1提问于2018-02-25得票数 0
除了一些基本的监控指标，如CPU，内存和网络使用情况。我是否可以实际监控正在运行的Kafka应用程序，例如消息传入/传出的数量、流吞吐量、流大小……？
谢谢。
浏览 0提问于2016-11-08得票数 1
我找到了CSV Source Connector，它可以监控目录中的文件，并将它们作为CSV读取。是否有适用于Avro文件的avro源连接器？如果不是，有什么建议通过Kafka连接读取AVRO文件到Kafka吗？
浏览 15提问于2019-08-22得票数 1
回答已采纳
我的系统管道是"IBM队列-> Springboot app (消息格式化程序) --> Kafka topic-1 (消息队列) --> Springboot app (消息转换器)-> --> Kafka Top-2(消息队列)“。
我的要求是测试IBM中生成的消息的端到端处理时间，并通过管道进行处理。我有一个带有JMeter的JMeter负载测试脚本，它生成通过管道泵出的大量消息。目前还没有实现Dynatrace监控，但是这里使用了用于Kafka监控的汇合控制中心。
您能否建议一些可能的选项来度量Springboot应用程序处理的消息的个人和端到端处
浏览 5提问于2019-11-26得票数 0
回答已采纳
3回答
我在我的本地主机上设置了Kafka，并试图监控Kafka生产者的行为，以防出现网络问题。
即使当所有代理都关闭时，生产者也不会给出任何错误。我使用的是同步制作器和Kafka 0.8版。
如果所有的代理都宕机了，生产者有没有办法收到异常？
浏览 0提问于2015-10-16得票数 0
我想做一些事情来持续监控一些Kafka主题，然后在有消息进来时执行一些批处理作业(点击一些REST api并存储响应)。我用KafkaItemReader设置了一些东西，但是，基于pollTimeout，如果它在30秒内没有收到消息，它就会关闭。怎样才能让它无限期地运行？由于这不是一个明显的选择，我想知道我是否使用了正确的工具来完成这项工作。
浏览 2提问于2021-03-09得票数 0
2回答
我们使用memsql进行实时分析。我们已经创建了Kafka连接器，它不断地从Kafka消费并推送到memsql。过了一段时间后，memsql由于内存问题而崩溃。
有没有办法监控memsql消耗了多少内存以及它是如何自动伸缩的。
浏览 18提问于2018-08-01得票数 0
腾讯云，和亚马逊云，打算两个都要使用。
采用ELK架构来做日志监控服务。
腾讯云 和 亚马逊云上 都用FILEBEATS，
腾讯云
主机上搭建Kafka上，logstash,ES，KIBANA，
腾讯 和 亚马逊的主机都指向Kafka，这样的架构可以行得通吗？
浏览 222提问于2018-10-15
1回答
假设你有一个简单的Kafka集群，有3个Broker。您可以使用SSL证书进行客户端身份验证和Kafka ACL。此外，还为代理间通信启用了SSL。监控所用证书的有效性/期满的推荐方式是什么？ 提前感谢！
浏览 32提问于2020-08-10得票数 0
有没有办法使用aws cloudwatch为服务器中运行的进程创建或跟踪指标 例如，我的实例运行以下进程 Python，kafka (动物园管理员) 有没有办法使用云监控来查看python、kafka在aws ec2实例中是否正常工作？
浏览 20提问于2019-09-24得票数 0
回答已采纳
3回答
我只需要监控我的Kafka集群是否启动。运行Kafka的机器偶尔会关闭。如果群集不可用，我想发送电子邮件警报。
我可以创建一个生产者和消费者来定期发送和接收虚拟消息。有没有更简单的方法呢？
浏览 5提问于2021-07-20得票数 1
我使用该框架在DC/OS集群中安装了Kafka。
我想获取一些指标来监控它，我看到有这样的配置：
"TASKCFG_ALL_KAFKA_METRICS_REPORTERS": "com.airbnb.kafka.kafka08.StatsdMetricsReporter",
我在代码中查看了一下，在server.properties.mustache中有一些配置参数：
external.kafka.statsd.port={{STATSD_UDP_PORT}}
external.kafka.statsd.host={{STATSD_UDP_HOST}}
exte
浏览 4提问于2018-01-27得票数 0
我使用Debezium连接器用于MySQL和Kakfa。所以我的模式变化和数据变化进入了kafka topcs。
我试图看看是否可以在不需要人工干预的情况下实现以下行为。
我希望只有一个表作为snapshot.mode=initial快照的一部分。然后，我希望多个表被监控，以进行中的疾控中心。
似乎列出了快照表和cdc表的单独选项，因此我假设在连接器配置中可以使用以下内容：
...
"table.include.list": "api.table1, api.table2",
"snapshot.include.collection.list"
浏览 26提问于2022-02-13得票数 0
回答已采纳
1回答
Kafka消息写入延迟
、、、、
我们正在尝试在Infosphere CDC- Confluent kafka设置中测量消息写入的延迟。我们有虚拟的表和虚拟的事务将被执行。 数据流- MF DB2表--> IIDR --> Kafka主题 (对于Kafka，制片人是iidr) 在没有任何企业监控工具的情况下，找出样本事务的写入延迟的正确方法是什么？我们是否可以检查写入日志并考虑每个事务时间戳，并与cdc事务日志进行比较，以找出写入延迟？ PS- I配置了jconsole来收集kafka指标。但是，我们如何找到特定CDC流到kafka主题的写入延迟？ 谢谢!
浏览 67提问于2019-03-05得票数 0
1回答
我有Kafka集群wkth 3服务器和每个3个代理。我已经能够使用jmx监控一个代理了。但我注意到jmx传输的数据只与我们连接的指定代理相关。
我如何监控“集群”(例如，我想知道一个主题的吞吐量中的消息)？
浏览 16提问于2019-11-10得票数 1
回答已采纳
它将监控Kafka lag，因为有时消费者会卡住而不会引发错误。
我的想法是..。如果某个“消费者组，主题”的滞后在20m (20个样本)内持续上升，则应该发出警告，这意味着相邻样本在这段时间内要么上升，要么平稳上升。
有没有办法在promql中定义这个触发器？
元素示例：
kafka_consumergroup_lag{consumergroup="order-beta",endpoint="http",instance="172.20.58.226:9308",job="kafka-exporter",namespace=&#
浏览 1提问于2020-06-24得票数 0
1回答
我有一个Kafka连接接收器，将来自Kafka主题的记录写入S3。它起作用了，但太慢了。Kafka主题接收到约30K消息/秒。Connect Sink无法跟上。我试着将Kafka连接器的tasks.max从1增加到3，这创造了更多的任务，但这似乎无助于提高msg/s的速度。我试着增加Kafka Connect工作者的CPU分配，似乎也没有帮助。
我还能尝试什么呢？哪些指标可用于监控以进一步确定瓶颈？
更新: Kafka主题有5个分区。Kafka集群有5个代理服务器。Kafka Connect在Kubernetes集群中运行，并使用最新的Confluent Kafka Connect 5.4.0
浏览 15提问于2020-02-04得票数 1
1回答
我是Apache Kafka的新手，我正在尝试了解如何监控kafka经纪人、消费者和生产者以及主题。我正在寻找指标，以及如何公开Rest apis以获得所有这些指标，因为我必须在UI上显示它们。JMX如何帮助实现这一点(或者不是？)
浏览 8提问于2020-03-31得票数 1
1回答
请求/响应的Kafka消息时间戳
、、、、
我正在构建一个性能监控工具，它在与Kafka主题的集群中工作。
例如，我正在监控两个主题：request、response。也就是说，我需要两个时间戳--一个来自request，另一个来自response。然后，我可以计算差异，以查看在接收请求并产生响应的服务中花费了多少时间。
请考虑到它在群集上工作，因此不同的组件可能在不同的主机上运行，因此-不同的物理时钟-因此它们可能不同步，这将严重扭曲结果。
此外，我不能可靠地使用监控工具本身的时钟，因为这将通过它自己的处理时间来影响计时结果。
因此，我想设计一种合适的方法，可靠地计算时间差。在Kafka中测量两个事件之间的时间差最可靠的方法是什么？
浏览 1提问于2019-02-11得票数 4
1回答
我有一个Kafka主题，不知何故从3个ISR变成了1个ISR，在一个有3个经纪人的kafka集群中。我将最小ISR从2更改为1以使其正常工作。假设其他经纪人正在尝试复制领导者的主题，我如何监控他们的进度？
浏览 15提问于2019-07-29得票数 0
回答已采纳
在我的Kafka集群上，我能够查看和监控特定的Mbean JMX指标，比如RequestsPerSec等。然而，我在我的JConsole上只看到Apache Kafka文档中提到的很少的指标。有没有办法让其他人。特别是有一种方法可以显式地启用一些特定的方法。
浏览 17提问于2019-11-28得票数 0
目前我在同一个Spring Boot应用程序中配置了生产者和消费者，但奇怪的是，触发消息的Spring云流并没有通过Kafka (我使用kafka-console- consumer来监控消息)，但是消费者仍然接收消息(使用与生产者相同的线程)。 如果我移除应用程序中的consumerHandler (@StreamListener)，生产者会成功地将消息发送到Kafka。 对此有什么配置吗？我需要Spring云流默认向Kafka发送消息。 生产者和消费者配置： @Component
public interface NotificationProcessor {
Strin
浏览 30提问于2021-03-21得票数 1
回答已采纳
我正在写一个外壳脚本来监控卡夫卡经纪人。
我浏览了一些链接，发现如果ZooKeeper包含一个代理列表，如果在这个列表中存在IP地址，那么一个kafka正在运行。
我需要一个命令，可以在shell脚本中使用它来获取代理列表，并检查kafka是否正在运行。
是否有任何curl命令来获得像elasticsearch这样的kafka集群状态？
浏览 7提问于2016-10-20得票数 101
回答已采纳
我使用Strimzi操作符在Kubernetes上部署了一个带有消费者和生产者客户端的kafka集群。我使用了以下strimzi部署文件https://github.com/strimzi/strimzi-kafka-operator/blob/main/examples/metrics/kafka-metrics.yaml 我正在使用Kafka exporter来监控与消费者相关的指标(每个主题每秒传入/传出的消息、消费者组的滞后、偏移量等)。但是，我感兴趣的是将Prometheus配置为抓取kafka_exporter指标"kafka_consumergroup_members“
浏览 102提问于2021-07-20得票数 0
回答已采纳
Kafka集群可以通过它公开的JMX指标进行细粒度的监控。通常，外部图形用户界面或应用程序(如jconsole )需要连接到代理公开的JMX_PORT，以便查看这些指标。
有没有办法可以通过STDOUT在SSH会话中查看代理的JMX指标？有没有可以运行的原生Kafka命令来查看这些指标？
浏览 0提问于2017-01-20得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
