kafka初步入门

kafka的依赖环境

• Java
• Zookeeper
• Kafka

基本概念

• Producer生产者
• Consumer消费者
• Broker服务代理节点
• Topic主题（逻辑概念）
  • 物理概览是可追加的日志文件
• Partition分区
  • 1个leader副本，多个followwer副本
• 副本机制（AR = ISR +OSR）
  • AR所有副本分区
  • ISR 同步副本分区
  • OSR滞后的多个副本
  • LEO(当前要写入的最新的一条消息)（和hw(当前可以消费的最大的水位)

旧版本的kafka整体，新版就没有zookeeper啦

kafka服务端的配置

• zookeeper的地址
• Listeners broker监听客户端的地址
• broker.id 副本标识
• log.dir和dirs 日志和持久化数据
• message.max.byts最大消息的长度