日记：Mac上kafka单机搭建和监控工具kafka eagle

kafka apache官方文档:

spring boot2.1 整合kafka官方文档：

https://docs.spring.io/spring-boot/docs/2.1.1.RELEASE/reference/htmlsingle/#boot-features-kafka

spring cloud stream 整合kafka官方文档：

https://springcloud.cc/spring-cloud-dalston.html#multiple-binders

一.本地装kafka服务流程

1.mac上使用终端安装，会自动依赖zookpeer作为服务发现；

brew install kafka

安装后的配置文件位置

zookpeer.properties:在/usr/local/etc/zookpeeper目录下

kafka.properties:在/usr/local/etc/kafka目录下

2.启动 zookeeper和kafka

先进入到安装的目录：

cd /usr/local/Cellar/kafka/2.1.0/

然后启动zookpeer服务：

./bin/zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &

再启动kafka服务

./bin/kafka-server-start /usr/local/etc/kafka/server.properties &

在bin文件下,有kafka的相关指令脚本，在linux系统下，文件后缀为.sh

相关指令使用：

停止kafka

./kafka-server-stop

停止zookpeer

./zookeeper-server-stop

创建主题topic

./kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest

查看创建的topic

./kafka-topics --list --zookeeper localhost:2181

生产数据

./kafka-console-producer --broker-list localhost:9092 --topic mytest

消费数据

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytest--from-beginning

二.kafka eagle 安装使用流程 （只适合作为简单的监控，不适合管理，莫名的多bug）

安装包地址：http://download.smartloli.org/

源码github:https://github.com/smartloli/kafka-eagle

1.下载安装包，并解压

2.先安装JDK（自行谷歌教程）

3.配置环境变量

打开终端：输入

vim ./.bash_profile 按 i 进入编辑模式

export KE_HOME=项目路径

export PATH=$PATH:$KE_HOME/bin

然后esc

:wq 保存

4.刷新环境变量

source ./.bash_profile

5.去到项目的目录下,更改配置

conf/system-config.properties

######################################

# 填上你的kafka集群信息

######################################

kafka.eagle.zk.cluster.alias=cluster1

cluster1.zk.list=localhost:2181

######################################

# zk client thread limit

######################################

kafka.zk.limit.size=25

######################################

# kafka eagle页面访问端口

######################################

kafka.eagle.webui.port=8048

######################################

# kafka offset storage

######################################

kafka.eagle.offset.storage=kafka

######################################

# 告警邮件配置，添加你的邮件信息

######################################

kafka.eagle.mail.enable=true

kafka.eagle.mail.sa=xxx

kafka.eagle.mail.username=xxx@xxx.com

kafka.eagle.mail.password=password

kafka.eagle.mail.server.host=smtp.xxx.com

kafka.eagle.mail.server.port=25

######################################

# 删除kafka topic时使用的token

######################################

kafka.eagle.topic.token=xxxxx

######################################

# kafka sasl authenticate

######################################

kafka.eagle.sasl.enable=false

kafka.eagle.sasl.protocol=SASL_PLAINTEXT

kafka.eagle.sasl.mechanism=PLAIN

kafka.eagle.sasl.client=/hadoop/kafka-eagle/conf/kafka_client_jaas.conf

######################################

# ke数据库配置，使用的是mysql

######################################

kafka.eagle.driver=com.mysql.jdbc.Driver

kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

kafka.eagle.username=root

kafka.eagle.password=密码

6.启动项目

使用./bin/ke.sh start

7.在浏览器登录

地址：http://localhost:8048/ke

账号 admin 密码 123456