什么是Kafka?
Kafka通常用于实时流数据架构,以提供实时分析。
Kafka正在爆炸式增长。超过三分之一的财富500强企业都使用Kafka。这些公司包括十大旅游公司,十大银行中的七家,十大保险公司中的八家,十大电信公司中的九家,以及更多。LinkedIn,微软和Netflix每天使用Kafka(1,000,000,000,000)处理万亿级的消息。Kafka用于实时数据流,收集大数据或进行实时分析(或两者兼而有之)。Kafka与内存微服务一起使用以提供可靠性,它可用于向 CEP
(复杂事件流系统)和IoT / IFTTT
式自动化系统提供事件。
为什么选择Kafka?
Kafka通常用于实时流式数据体系结构以提供实时分析。由于Kafka是一个快速,可扩展,耐用和容错的发布、订阅消息传递系统,Kafka被用于JMS
,RabbitMQ
和AMQP
可能因为数量和响应速度而不被考虑的情况。Kafka具有更高的吞吐量,可靠性和复制特性,使其适用于跟踪服务呼叫(跟踪每个呼叫)或跟踪传统MOM可能不被考虑的物联网传感器数据。
Who在使用Kafka?
许多处理大量数据的大公司使用Kafka。
Square
数据中心(日志,自定义事件,度量标准等),输出到Splunk
,Graphite
(仪表板)以及Esper-like / CEP
警报系统。由于整个笔记比较全面,内容相当的多 ,这里仅展示资料的一些截图,如有需要获取文中提到的 “Kafka技术手册” 的朋友看 ?代码块 和 文末代码块 有直达获取地址。
Kafka知识导图
领取资料请添加 助理 Q:1923757618 & V:C18173184271
添加时请备注 ‘简书+Kafka’
如果显示“QQ(VX)被频繁添加”,也可请加入我们的Java架构进阶学习交流群在群内自行下载,Q 群 :799927951;
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(特性 + 使用场景 + 技术优势 + 适应人群 + 概念详解 + 安装与配置 + Java第一个程序 + 服务端常用参数配置 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(消息发送 + 发送原理剖析 + 其他生产者参数 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(概念入门 + 消息接收 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(管理 + 增加分区 + 分区副本的分配 + 其他主题参数配置 + KafkaAdminClient应用 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(副本机制 + 分区Leader选举 + 分区重新分配 + 修改副本因子 + 分区分配策略 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(存储结构概述 + 日志索引 + 日志清理 + 磁盘存储优势 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(幂等性 + 事务 + 控制器 + 可靠性保证 + 一致性保证 + 消息重复的场景及解决方案 + __consumer_offsets + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(命令行工具 + 数据管道Connect + 流式处理Spark + SpringBoot Kafka + 消息中间件选型对比 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(集群的特点 + 集群的能力 + 集群使用场景 + 集群搭建 + 多集群同步 + 总结)
通过这一部分的学习,你可以学习一下内容:
内容涵盖:(监控度量指标 + broker监控指标 + 主题分区监控 + 生产者监控指标 + 消费者监控指标 + Kafka Eagle + 总结)
在当前的趋势下,Kafka被越来越多的互联网企业所器重,在业务中的使用也越来越多!那么,我们就是说不一定要熟练,但是至少要学会怎么用。这样在业务中自己的能力不断地提升,才有底气和老板、和HR谈涨薪。否则,只是一味地做,不停地996,业务能力却没有提升,那么就会被公司所抛弃,更不要说什么涨薪了,你问问你自己,你配吗?
最后,我想说的是,学习并非难事,而是贵在坚持,尤其是在我们参与工作之后,要继续坚持学习就更不容易了。但对于程序员来说,学习是立业之根本,如若放弃学习,被市场淘汰是迟早的事情。所以,学习更多新的知识对于自己来说才是一种更大的投资。