2010年，LinkedIn开始开发Kafka。2011年，Kafka成为Apache开源项目。从那以后，Kafka的使用在各种企业中迅速增长。目前，超过30%的世界500强公司已经在使用Kafka。本次演讲会先介绍为什么Kafka最开始成为一个非常受欢迎的发布订阅消息系统。接着会介绍Kafka近期增加的企业级功能。最后会介绍未来如何把Kafka建成实时流数据处理平台。

大数据时代的来临使得Apache Kafka的使用范围远不止是消息通道。腾讯云上部署的Kafka集群日处理消息量超过数万亿条，并且还在高速增长。
如此大规模的Kafka集群每天都会面临故障节点的移除、新节点的加入、节点间数据倾斜、用户所需Kafka实例的动态升降配、Borker资源利用率不均衡、不同区域间数据迁移等各种各样的需求，如何能够高效智能的发现异常，生成修复任务并自动执行，避免完全依赖运维人员人肉运维是腾讯中间件团队必须要考虑的事情，本文将重点分享腾讯云CKafka是如何解决上述问题实现大规模自动化运营的。

Kafka 是知乎技术平台的核心基础组件，承载知乎的消息和日志服务。随着业务不断发展，对Kafka 集群的稳定性和易用性、资源隔离、自动化运维、容量管理等方面提出更高的要求。
我们采用 Kubernetes 和容器技术搭建 Kafka 平台，实践可伸缩的有状态服务在 Kubernetes 方案。平台通过容器技术、服务注册发现、监控和报警和定制客户端，提供从客户端到服务端的高可用方案。
本次演讲将介绍知乎 Kafka 平台在 Kubernetes 有状态服务、集群管理、自动化运维和高可用方面的心得和体会。

kafka是深瞳云数据流处理中的关键基础组件，是图片流实时人脸识别平台的核心。格灵深瞳的大规模图片人脸识别服务使用了腾讯云优化过的CKafka，应用在业务数据导入、缓存、输出以及监控与日志收集等各个环节，连接了各个数据处理模块，为实时的人脸特征提取、比对及分析提供了保障。这次从应用层面介绍kafka在深度学习人脸识别平台架构中的位置及重要性，并介绍一些connect等kafka的生态组件的应用与遇到的问题。

Apache Kafka得益于其分布式、高性能、低延迟、数据有序等等特性，被越来越多的流式计算组件选作核心数据管道及存储。当前腾讯云上部署的kafka日处理消息已经达数万亿，在对kafka的长期持续运营中，腾讯中间件团队结合业务实际情况对kafka部分技术细节进行优化，将资源利用率发挥到了极致。这次我们重点对kafka高性能的关键点以及腾讯云kafka团队对其进行的优化点进行分享。