Kafka快速入门系列(14) | Kafka监控（两种）

不温卜火

发布于 2020-10-28 16:49:34

6690

文章被收录于专栏：不温卜火不温卜火

本篇博主带来的是Kafka的两种监控软件。

一. Kafka Monitor

1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群

2.在/opt/module/下创建kafka-offset-console文件夹

[bigdata@hadoop002 module]$ mkdir kafka-offset-console
[bigdata@hadoop002 module]$ cd kafka-offset-console/

[bigdata@hadoop002 kafka-offset-console]$ cp /opt/software/Kafka/KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar ./

4. 在/opt/module/kafka-offset-console目录下创建启动脚本start.sh，内容如下

[bigdata@hadoop002 kafka-offset-console]$ vim start.sh

#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers hadoop002:9092,hadoop003:9092,hadoop004:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk hadoop002:2181,hadoop003:2181,hadoop004:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &


// 变成和执行性文件
[bigdata@hadoop002 kafka-offset-console]$ chmod +x start.sh

5. 在/opt/module/kafka-offset-console目录下创建mobile-logs文件夹

[bigdata@hadoop002 kafka-offset-console]$ mkdir mobile-log

6. 启动KafkaMonitor

[bigdata@hadoop002 kafka-offset-console]$ ./start.sh

如果出现下图就代表成功了

7.登录页面hadoop002:8086端口查看详情

下面可以进行一些简单的操作

先分别进行生产消费

然后通过web端进行查看

二. Kafka Manager

1.解压到/opt/module

[bigdata@hadoop002 Kafka]$ unzip kafka-manager-1.3.3.15.zip -d /opt/module/

2.修改配置文件conf/application.conf

[bigdata@hadoop002 kafka-manager-1.3.3.15]$ vim conf/application.conf 


kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
修改为：
kafka-manager.zkhosts="hadoop002:2181,hadoop003:2181,hadoop004:2181"

3. 为脚本添加执行权限

[bigdata@hadoop002 bin]$ chmod +x kafka-manager

4. 启动kafka-manager

[bigdata@hadoop002 kafka-manager-1.3.3.15]$ bin/kafka-manager 

// 修改端口号
[bigdata@hadoop002 kafka-manager-1.3.3.15]$ bin/kafka-manager -Dhttp.port=9090