JavaWeb项目架构之Kafka分布式日志队列

架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：

通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

支持通过Kafka服务器和消费机集群来分区消息。

支持Hadoop并行数据加载。

发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因

以容错的方式记录消息流，kafka以文件的方式来存储消息流

可以再消息发布的时候进行处理

在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能

构建实时的流数据处理程序来变换或处理数据流，数据处理功能

Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

Topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

Partition

Partition是物理上的概念，每个Topic包含一个或多个Partition.

Producer

负责发布消息到Kafka broker

Consumer

消息消费者，向Kafka broker读取消息的客户端。

Consumer Group

每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

环境

Linux、JDK、Zookeeper

下载二进制程序

安装

目录说明

参数说明

启动kafka

启动kafka之前要启动相应的zookeeper集群、自行安装，这里不做说明。

环境

spring-boot、elasticsearch、kafka

pom.xml引入：

生产者

消费者

日志监听

测试日志传输

之前简单的介绍过，JavaWeb项目架构之Redis分布式日志队列，有小伙伴们聊到， Redis PUB/SUB没有任何可靠性保障，也不会持久化。当然了，原项目中仅仅是记录日志，并不是十分重要的信息，可以有一定程度上的丢失

Kafka与Redis PUB/SUB之间最大的区别在于Kafka是一个完整的分布式发布订阅消息系统，而Redis PUB/SUB只是一个组件而已。

使用场景

Redis PUB/SUB

消息持久性需求不高、吞吐量要求不高、可以忍受数据丢失

Kafka

高可用、高吞吐、持久性、多样化的消费处理模型

开源项目源码(参考)：https://gitee.com/52itstyle/spring-boot-elasticsearch

作者： 小柒