======================================================
这个和日志复制的机制有关系。首先对于选举，PK的条件不是拼这两个索引值的大小，PK的是最后一条日志的任期号和日志的长度。Leader当选后进行第一次日志复制时，会和Follower进行若干次日志的匹配过程，最终可以得到Leader和各自Follower的日志匹配的matchIndex值。处于majority节点列表的matchIndex的最小值就是当前Leader的commitIndex。所以commitIndex值是完全可以动态计算出来的。 如果所有的日志都保留不截断的话，服务器重启时applyIndex应该等于零。然后重放一下所有的已经提交的日子就可以得到当前的状态机。如果日志截断有快照的话，applyIndex应该正好是日志序列的头部位置，这个位置一般是存储在快照元信息里面的，它是持久化在磁盘中的。
Etcd中跟存储部分相关的模块主要有3块，Raft状态机中存储的日志条目、持久化到文件的日志条目以及后端的KV存储。
Kafka 中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中，分区中的每条消息都会被分配一个唯一的序列号，也就是通常所说的偏移量（offset），具有4个分区的主题的逻辑结构见下图。
最近遇到了一个和kafka相关的问题，具体是在spark任务在一定并行度的情况下， 偶现个别executor因kafka消息发送超时导致失败的情况。正所谓磨刀不误砍柴工，为了能较好的定位问题，因此先对kafka客户端消息发送相关逻辑的代码进行了走读，本文就是对相关原理的一些总结。
学习raft之前，给大家推荐一个网站，这个网站动画描述raft运行过程。在看文章时对照该网站，可以帮助更好的理解raft。http://thesecretlivesofdata.com/raft/
Apache Pulsar 系列第一篇文章为读者们详细解释了 Pulsar 的消息保留和过期策略，本文是系列第二篇，主要从 Pulsar 设计的原理以及在 BookKeeper 中如何存储做一个梳理。
开发和学习时需要造一些kafka消息，于是写了段脚本实现，在这里记录备忘，后面会常用到；
前面已经用源码的手段对 RocketMQ 日志复制的实现细节做了一个详细的介绍，可能有不少读者朋友们觉得源码阅读较为枯燥，看的有点云里雾里，本篇将首先梳理一下 RocketMQ DLedger 多副本关于日志复制的三个核心流程图，然后再思考一下在异常情况下如何保证数据一致性。
使用kafka可以对系统解耦、流量削峰、缓冲，可以实现系统间的异步通信等。在活动追踪、消息传递、度量指标、日志记录和流式处理等场景中非常适合使用kafka。这篇文章主要介绍下kafka中的基本概念。
在实际应用中，往往对一个Topic下的消息还会有不同的细分，消费方会根据细分的类型消费Topic中特定的一部分消息，这就涉及到了消息过滤。
在现代分布式系统中，消息队列和事件驱动架构变得越来越重要，它们在异步处理、解耦服务组件、实现事件驱动的微服务等方面发挥着关键作用。Redis，作为一款多功能的开源数据结构存储系统，自4.0版本开始引入了Stream数据结构，为构建高效的消息队列和事件驱动系统提供了新的可能。本文将深入解析Redis Stream的特性、操作命令，并通过具体案例展示其在实际场景中的应用。
经过前 5 篇文章的介绍，估么着小伙伴们已经对消息生产和消费的流程应该有一个比较清晰的认识了。当然小伙伴们肯定也比较好奇，Kafka 能够处理千万级消息，那它的消息是如何在 Partition 上存储的呢？今天这篇文章就来为大家揭秘消息是如何存储的。本文主要从消息的逻辑存储和物理存储两个角度来介绍其实现原理。
越来越多的公司采用流处理，并将现有的批处理应用迁移到流处理，或者对新的用例采用流处理实现的解决方案。其中许多应用集中在流数据分析上，分析的数据流来自各种源，例如数据库事务、点击、传感器测量或IoT 设备。
在 《TiKV 源码解析（二）raft-rs proposal 示例情景分析》 中，我们主要介绍了 raft-rs 的基本 API 使用，其中，与应用程序进行交互的主要 API 是：
最近和一些同学交流的时候反馈说，在面试Kafka时，被问到Kafka组件组成部分、API使用、Consumer和Producer原理及作用等问题都能详细作答。但是，问到一个平时不注意的问题，就是Kafka的幂等性，被卡主了。那么，今天笔者就为大家来剖析一下Kafka的幂等性原理及实现。
导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后端开发工程师刘国强。 使用kafka可以对系统解耦、流量削峰、缓冲，可以实现系统间的异步通信等。在活动追踪、消息传递、度量指标、日志记录和流式处理等场景中非常适合使用kafka。这篇文章主要介绍下kafka中的基本概念。 kafka的整体结构 下图展示了很多关于kafka的细节，暂时
许多互联网公司，每天都会产生大量的日志数据，包括用户行为记录、运营指标、系统运行状况的监控数据等。为了分析用户的行为或者监控系统的状态，需要对这些数据进行周期性的分析和统计。
前文介绍了kafka的一些基本原理，接下来我们深入了解下关于kafka的一些机制和优化
本文将在 RocketMQ 消息发送system busy、broker busy原因分析与解决方案 的基础上，结合生产上的日志尝试再次理解 broker busy 以及探讨解决方案。
在开始之前首先要明确一点，kafka是一个分布式流平台，本质上是一个消息队列。谈到消息队列，就会联想到消息队列的三大作用：异步、消峰、解耦。kafka主要应用在大数据的实时处理领域，使用起来比较简单，本文主要分析kafka的工作流程、存储机制，分区策略，并围绕多个角度展开总结。
本文实例讲述了YII2框架中日志的配置与使用方法。分享给大家供大家参考，具体如下：
Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。
分布式系统是指一组独立的计算机，通过网络协同工作的系统，客户端看来就如同单台机器在工作。随着互联网时代数据规模的爆发式增长，传统的单机系统在性能和可用性上已经无法胜任，分布式系统具有扩展性强、可用性高、廉价高效等优点得以广泛应用。
对于一个复杂的分布式系统，如果没有丰富的经验和牛逼的架构能力，很难把系统做得简单易维护，我们都知道，一个软件的生命周期中，后期维护占了70%，所以系统的可维护性是极其重要的， kafka 能成为大数据领域的事实标准，很大原因是因为运维起来很方便简单，今天我们来看下 kafka 是怎么来简化运维操作的。
Kafka 是最初由 Linkedin 公司开发，是一个分布式、分区的、多副本的、多订阅者，基于 zookeeper 协调的分布式日志系统（也可以当做 MQ 系统），常见可以用于 web/nginx 日志、访问日志，消息服务等等，Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。
越来越多的公司在采用流处理技术，并将现有的批处理应用程序迁移到流处理或者为新的应用设计流处理方案。其中许多应用程序专注于分析流数据。分析的数据流来源广泛，如数据库交易，点击，传感器测量或物联网设备。
在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。Kafka 中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到 Kafka 集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。这里补充了对Kafka基本概念了解，附上上篇中的Kafka 体系结构概要图便于理解
地址：http://kafka.apache.org/documentation/
Raft 是一种共识算法，它确保在分布式系统中的多个节点之间达成一致性。Raft 的核心目标之一是保证数据在所有节点之间的同步。以下是 Raft 如何同步数据的主要步骤：
Stream 是 Redis 5.0 版本专门为消息队列设计的数据类型，借鉴了 Kafka 的 Consume Group 设计思路，提供了消费组概念。
我是一条消息，从我被生产者发布到topic的时候，我就清楚自己的使命：被消费者获取消费。但我一直很纳闷，把我直接推送给消费者不就行了，为什么一定要先推送到类似队列的topic中呢，消息队列的作用到底是什么呢？ 在消息队列出现以前，服务之间的矛盾由来已久，服务A调用服务B，经常要等待服务B处理完后续流程再返回结果，因此服务A常常抱怨服务B接收处理能力太慢，服务B也常常把某些责任推卸给服务A，于是，消息队列出现了，让服务A只管往队列里面放消息，后续的处理流程都不用管，而服务B负责往队列里面取消息，通过巧妙
该定义暗含着：所有操作会形成一个确定的执行顺序。在图 9-4 中，我们就根据读到的结果来推测出了一个服务器端所有操作的看起来的执行顺序。
[喵咪KafKa(1)]KafKa的介绍以及使用场景 前言 哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不
Redis stream（流）是一种数据结构，其作用类似于仅追加日志，但也实现了多个操作来克服典型仅追加日志的一些限制。其中包括O（1）时间的随机访问和复杂的消费策略，如消费者群体。 您可以使用流实时记录和同时联合事件。
Stream 是 Redis 5.0 引入的一种专门为消息队列设计的数据类型，Stream 是一个包含 0 个或者多个元素的有序队列，这些元素根据 ID 的大小进行有序排列。
在描述消息的写入和读取流程之前，首先要弄清楚消息队列的模型是怎么样的，包括消息是怎么存储的。
上篇文章说了，sesstion.time.out 、max.poll.interval.ms、max.poll.records和auto.offset.reset等参数。
Partition（分区）是 Kafka 的核心角色，对于 Kafka 的存储结构、消息的生产消费方式都至关重要。
作者：潘唐磊 腾讯WXG开发工程师 导语| 本文主要总结了企业微信消息系统的架构与设计，阐述了toB业务带来的一些难点，面临哪些挑战，以及设计方案的对比与分析。同时总结了后台开发的一些常用手段，实用于消息系统，解决相关问题。 名词解释 seq：自增长的序列号，每条消息对应一个 ImUnion：消息互通系统，用于企业微信与微信的消息打通 控制消息：不可见消息，复用消息通道的一种可靠通知机制 应用类消息：系统应用下发的消息 api消息：第三方应用下发的消息 appinfo：每条消息对应的唯一strid，全局唯
本文摘编于《Flink SQL 与 DataStream 入门、进阶与实战》，作者羊艺超，经出版方授权发布，转载请标明文章出处。
每个分区日志记录是顺序的, 不可变的串行offset, 追加到结构化的commit log, 每个offset 在分区中唯一标识一条记录
应用操作内容：由客户端发送的请求，需要被复制状态机（replicated state machine）执行的命令，如上是一个KV系统，每一次的操作是对某个key的内容。
Kafka作为一个消息中间件(后面Kafka逐渐转向一个流失处理平台KafkaStream)，消息最终的存储都落在日志中。
大家都知道Kafka是将数据存储于磁盘的，而磁盘读写性能往往很差，但Kafka官方测试其数据读写速率能达到600M/s，那么为什么Kafka性能会这么高呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
