Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统
Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
看完本文，你将明白为什么一个简单的消息队列，能够有那么多的知识点；能够了解到Kafka的主要功能和应用场景；能够了解到Kafka的主要技术术语。了解到什么叫本分！
Kafka是LinkedIn在2010年开发的分布式消息系统• 使用于LinkedIn的活动流和运营数据处理的管道
Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。
👆点击“博文视点Broadview”，获取更多书讯 本文向读者介绍两个优秀的分布式消息流平台：Kafka与Pulsar。 Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kafka基于发布/订阅模式，具有高吞吐、可持久化、可水平扩展、支持流数据处理等特性。 Apache Pulsar（简称Pulsar）是雅虎开发的“下一代云原生分布式消息流平台”，于2016年开源
本文向读者介绍两个优秀的分布式消息流平台：Kafka与Pulsar。 Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kafka基于发布/订阅模式，具有高吞吐、可持久化、可水平扩展、支持流数据处理等特性。 Apache Pulsar（简称Pulsar）是雅虎开发的“下一代云原生分布式消息流平台”，于2016年开源，目前也在快速发展中。Pulsar集消息、存储、轻量化
Apache Kafka 是分布式发布-订阅消息系统，在 kafka 官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。
在大数据学习当中，重点之一就是大数据技术框架，针对于大数据处理的不同环节，需要不同的技术框架来解决问题。以Kafka来说，主要就是针对于实时消息处理，在大数据平台当中的应用也很广泛。今天我们就主要来讲讲分布式消息系统Kafka的入门基础。
这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！
消息队列(Message Queue，简称MQ)。消息中间件作为实现分布式消息系统可拓展、可伸缩性的关键组件，具有高吞吐量、高可用等等优点。
最近需要做的项目里用到了kafka消息队列，对于一个主要面向大数据实时计算的日志消息系统，在大公司里面用的是非常多的，也是Java程序员通往高级开发必须要掌握的一门中间件技术。
本来打算给这篇文章起名叫“搭建Kafka消息队列集群”，然而，和RabbitMQ不同，Kafka并没有实现消息队列的协议（例如AMQP，Advanced Message Queuing Protocol，提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计），所以尽管在使用方式上像极了队列，但并不算是严格意义上的消息队列。而按照官方的定义：A distributed streaming platform（分布式流数据平台），又显得太抽象，所以，我还是从实际出发，折中一下，将文章名称改为了：Kafka分布式消息系统。
前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传递。所以如果能够通过消息来驱动某段程序的运行，那么这段程序就有可能在集群中任何一个节点上运行了。好了，akka-cluster是通过对每个集群节点上的中介发送消息使之调动该节点上某段程序运行来实现分布式运算的。那么，kafka也可以实现消息在集群节点间的自由流通，是不是也是一个分布式运算框架呢？实际上，kafka设计强调的重点是消息的接收，或者叫消息消费机制。至于接收消息后怎么去应对，用什么方式处理，都是kafka用户自己的事了。与分布式运算框架像akka-cluster对比，kafka还缺了个在每个集群节点上的”运算调度中介“，所以kafka应该不算我所指的分布式运算框架，充其量是一种分布式的消息传递系统。实际上kafka是一种高吞吐量、高可用性、安全稳定、有良好口碑的分布式消息系统。
成熟系统的构建，最不能缺少的一环就是消息队列。消息队列的概念看似好懂，但落实到复杂问题的解决，则非常考验内功。比如：
kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)。
一、理论知识 从ACID到CAP到BASE 2PC到3PC到Paxos到Raft到ISR 复制、分片和路由 副本更新策略 负载均衡算法及手段 二、数据库 笔者带你剖析淘宝TDDL——Matrix层的分库分表配置与实现 纠正文章关于分库分表规则的一点错误：<property name="dbRuleArray" value="(#id#.longValue() % 4096).intdiv(16)"/>这个规则，表示分4096张表，每个库16张表。因此，tableIndex = id % 4096、dbI
在P2P模型中，有几个关键术语：消息队列(Queue)、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到它们被消费或超时。
由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 14:00-18:00 在深圳腾讯大厦 2 楼多功能厅，精彩呈现，期待大家多多报名！
欢迎来到本篇博客，我们将一同探索分布式消息系统RocketMQ的原理和使用教程。无需担心，即使你是小白，我们将用亲切的语言和生动的例子一步步解释，让你轻松理解RocketMQ的奥秘。
Kafka 是一个分布式的、发布-订阅式消息中间件。最初是由 Linkedin 领英公司基于 Scala 和 Java 语言开发的分布式消息系统，现已捐献给 Apache 软件基金会。事实上 Kafka 不仅仅是一个消息队列（MQ），其已然成为一个开源的分布式流处理平台。Kafka 具有高吞吐、低延迟的特性，许多大数据处理系统比如 Storm、Spark、Flink 等都能很好地与之集成。
对于Apache RocketMQ的了解，追溯起来，可以说是从开源初始，就认识到了它。那时候的它，还是个幼年，没有成熟的社区，也没有好的机制去运作。本身，也不算是成熟的产品。
Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础，具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比：
本文给出了分布式系统的初步概念模型，通过介绍分布式消息队列的几种分类以及Redis的分布式高可用哨兵模型，进而引出分布式系统的几个特征，副本，故障总会发生，消息的多样性，异常的分类。
快速开始： https://kafka.apache.org/documentation/#quickstart
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
要想在系统设计方面脱颖而出，深入理解一些基本的系统设计概念很有必要，比如：负载平衡、缓存、分区、复制、数据库和代理等。
redis提供了两种方式来做消息队列，一种是生产者消费者模式，一种是发布订阅模式。
自Redis快速入门系列结束后，博主决定后面几篇博客为大家带来关于Kafka的知识分享~作为快速入门Kafka系列的第一篇博客，本篇为大家带来的是消息队列和Kafka的基本介绍~
后续将在这学习范围内输出一些相关文章。那么本文作为Kafka系列的第一篇文章，将从“理解Kafka的相关概念”说起。首先Kafka是什么。
在前面几篇博客我们介绍过一种消息中间件——RabbitMQ，本篇博客我们介绍另外一个消息中间件——Kafka，Kafka是由LinkedIn开发的,使用Scala编写，是一种分布式，基于发布/订阅的消息系统，在介绍 kafka 之前，我们首先需要知道为什么会诞生 kafka 。
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。
分布式消息队列中间件是是大型分布式系统不可缺少的中间件，通过消息队列，应用程序可以在不知道彼此位置的情况下独立处理消息，或者在处理消息前不需要等待接收此消息。所以消息队列主要解决应用耦合、异步消息、流量削锋等问题，实现高性能、高可用、可伸缩和最终一致性架构。消息队列已经逐渐成为企业应用系统内部通信的核心手段，当前使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ 等，而部分数据库如 Redis、MySQL 以及 PhxSQL 也可实现消息队列的功能。
Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的 Kafka 面试题入手，和大家聊聊 Kafka 的那些事儿。
Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。
Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的 Kafka 面试题入手，和大家聊聊 Kafka 的那些事儿。 思维导图 讲一讲分布式消息中间件 问题 什么是分布式消息中间件？ 消息中间件的作用是什么？ 消息中间件的使用场景是什么？ 消息中间件选型？ 消息队列 分布式消息是一种通信机制，和 RPC、HTTP、RMI 等不一样，消息中间件采用分布式中间代理的方式进行通信。如图所示
整理了当年使用过的一些，大数据生态圈组件的特性和使用场景，若有不当之处，请留言斧正，一起学习成长。
导语：上一章我们聊到了：什么是消息队列，为什么要用消息队列，有那些消息队列？下来我们聊聊什么样的消息队列适合我们公司。
从 0.9 版本开始，Kafka 的标语已经从“一个高吞吐量，分布式的消息系统”改为”一个分布式流平台“。
近年来，随着微服务架构的流行，分布式消息引擎在物联网、分布式事务、实时计算和大规模缓存同步等场景中的应用日益增多。本文将分享微众银行基于RocketMQ构建消息服务平台的实践，并通过添加诸多高级特性来解决消息收发过程中遇到的各种问题，通过此文，您将了解到：
Iterable 公司每天代表客户发送大量营销消息，包括电子邮件、通知、短信、应用程序消息等，并且每天处理更多的用户数据更新、事件、自定义工作流状态。Iterable 日常处理的很多消息都可能触发系统中的其他操作，从而导致系统越来越复杂，产品易用性越来越低。随着客户数量不断增加，降低系统复杂性迫在眉睫。
简而言之，采用分布式系统，分布式应用和服务，分布式数据和存储，分布式静态资源，分布式计算，分布式配置和分布式锁。
具有一到五年开发经验，需要学习内容很多,JVM/分布式/高并发/性能优化/Spring MVC/Spring Boot/Spring Cloud/MyBatis/Netty源码分析等. 01、透彻理解Tomcat原理手写动静态资源的实现 02、分享能源领域的分布式监测系统架构 03、分布式系统关键技术Rpc框架详解与实现 04、自己写一个SpringMVC框架 05、使用Jsoup实现网页爬虫功能 06、JAVA高级进阶之NIO通信架构原理详解 07、高手必过之路透彻理解Spring容器IOC的原理分析
目前很多互联网公司的系统都在朝着微服务化、分布式化系统的方向在演进，这带来了很多好处，也带来了一些棘手的问题，其中最棘手的莫过于数据一致性问题了。早期我们的软件功能都在一个进程中，数据的一致性可以通过数据库本地事务来加以控制。而在分布式架构下，原本比较完整的本地功能可能被拆分成了多个独立的服务进程。与之前相比，同样一笔业务订单此时可能会经历很多服务模块的处理，调用链路会变得很长，例如某电商平台，一笔购物订单可能会经过：商品中心、订单、支付、物流等多个服务的调用，而这可能还只是比较粗粒度的划分，某些比较大型的服务，如支付系统，可能本身又会按照分布式的架构拆分成多个微服务，所以整个业务的调用链路会变得更加冗长。 而这不可避免的就会产生数据不一致的问题，为了实现业务上的最终一致性，功能比较独立的系统，如订单系统与支付系统就会通过额外的业务逻辑设计来确保彼此之间的最终一致性，如订单系统会通过订单的支付状态来保持与支付系统的数据一致，而支付系统则会提供支付状态查询接口，或者实现最大可能的主动回调功能，来确保二者数据状态的最终一致。此外可能还会通过日终的订单对账来发现不一致的数据，并进行数据校正。 但是这些都只是业务逻辑上的手段，对于某些内部服务之间的调用，如果可以通过分布式事务解决方案来加以保证的话，其实是可以大大减少一些不必要的复杂业务逻辑的。实际上，目前市面上能够提供分布式事务解决方案、又比较成熟的开源技术框架比较少，而RocketMQ在4.3.0之后的版本提供了事务消息的功能，因为RocketMQ本身拥有比较多的生产实践的关系，所以这一功能备受关注，作者所在的公司也有一些实践。 以此为契机，为了给大家关于分布式事务一个比较清晰的认识，这里我打算以RocketMQ的事务消息功能为示例，来相对全面的总结下分布式事务的内容。本篇文章的主要内容，是先介绍如何搭建一套生产级的RocketMQ消息集群，以此准备下试验环境。在下一篇《【分布式事务】基于RocketMQ的分布式事务实现》会整体介绍下分布式事务的概念和原理，并做一些代码级的试验。
今天通过植物大战僵尸这款游戏来讲解 Kafka 的 Topic 分区的作用，希望能够帮助到大家。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
