最简单的提交方式是让消费者自动提交偏移量。如果 enable.auto.commit 被设为 true，那么每过 5s，消费者会自动把从 poll() 方法接收到的最大偏移量提交上去。提交时间间隔由 auto.commit.interval.ms 控制，默认值是5s。消费者每次获取新数据时都会先把上一次poll()方法返回的最大偏移量提交上去。
这个错误的意思是，消费者在处理完一批poll的消息后，在同步提交偏移量给broker时报的错。初步分析日志是由于当前消费者线程消费的分区已经被broker给回收了，因为kafka认为这个消费者死了，那么为什么呢？
在看CAS中经常会遇到unsafe.compareAndSwapInt(this, stateOffset, expect, update);很久很久以前看着就当眼熟;现在再看，结果对这个偏移量完全未知，于是有了这篇文章
在Java 6版本之后JVM在class文件中引入了栈图(StackMapTable)。
getstatic指令的操作码是0xB2，该指令需要一个操作数，该操作数是常量池中某个CONSTANT_Fieldref_info常量的索引。在本例中，该指令表示获取System的out静态字段，该静态字段的类型为java.io.PrintStream。该指令执行完成后，操作数栈顶存放的就是System的out静态字段的引用
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
一个对Java程序员进阶成长颇有研究的人，今天继续给大家带来新的一篇Java进阶指南。
压缩指针是一种内存优化技术，旨在减少堆内存使用量。它通过将32位和64位指针压缩为更小的大小，从而节省堆内存的使用量。
Apache Flink 内置了多个 Kafka Connector：通用、0.10、0.11等。这个通用的 Kafka Connector 会尝试追踪最新版本的 Kafka 客户端。不同 Flink 发行版之间其使用的客户端版本可能会发生改变。现在的 Kafka 客户端可以向后兼容 0.10.0 或更高版本的 Broker。对于大多数用户使用通用的 Kafka Connector 就可以了。但对于 0.11.x 和 0.10.x 版本的 Kafka 用户，我们建议分别使用专用的 0.11 和 0.10 Connector。有关 Kafka 兼容性的详细信息，请参阅 Kafka官方文档。
当我们研究AQS框架时(对于AQS不太熟知可以先阅读《什么是JDK内置并发框架AQS》，会发现AbstractQueuedSynchronizer这个类很多地方都使用了CAS操作。在并发实现中CAS操作必须具备原子性，而且是硬件级别的原子性。我们知道Java被隔离在硬件之上，硬件级别的操作明显力不从心。这时为了能够执行操作系统层面的操作，就必须要通过用C++编写的native本地方法来扩展实现。一般可以通过JNI方式实现Java代码调用C++代码
作者 | Uber 工程博客 翻译 | 王者 策划 | 蔡芳芳 Uber 的 Kafka 生态系统 Uber 拥有世界上最大的 Kafka 集群，每天处理数万亿条消息和几个 PB 的数据。如图 1 所示，Kafka 现在成了 Uber 技术栈的基石，我们基于这个基石构建了一个复杂的生态系统，为大量不同的工作流提供支持。其中包含了一个用于传递来自乘客和司机 App 事件数据的发布 / 订阅消息总线、为流式分析平台（如 Apache Samza、Apache Flink）提供支持、将数据库变更日志流到下游订阅
本系列的目的是明明白白、彻彻底底的搞定日期/时间处理的几乎所有case。上篇文章 铺设所有涉及到的概念解释，例如GMT、UTC、夏令时、时间戳等等，若你还没看过，不仅强烈建议而是强制建议你前往用花5分钟看一下，因为日期时间处理较为特殊，实战必须基于对概念的了解，否则很可能依旧雾里看花。
CAS算法的作用：解决多线程条件下使用锁造成性能损耗问题的算法，保证了原子性，这个原子操作是由CPU来完成的 CAS的原理：CAS算法有三个操作数，通过内存中的值（V）、预期原始值（A)、修改后的新值。 （1）如果内存中的值和预期原始值相等， 就将修改后的新值保存到内存中。 （2）如果内存中的值和预期原始值不相等，说明共享数据已经被修改，放弃已经所做的操作，然后重新执行刚才的操作，直到重试成功。 注意： （1）预期原始值（A)是从偏移位置读取到三级缓存中让CPU处理的值，修改后的新值是预期原始值经CPU处理暂时存储在CPU的三级缓存中的值，而内存指定偏移位置中的原始值。 （2）比较从指定偏移位置读取到缓存的值与指定内存偏移位置的值是否相等，如果相等则修改指定内存偏移位置的值，这个操作是操作系统底层汇编的一个原子指令实现的，保证了原子性
Java中基于操作系统级别的原子操作类sun.misc.Unsafe，它是Java中对大多数锁机制实现的最基础类。请注意，JDK 1.8和之前JDK版本的中sun.misc.Unsafe类可提供的方法有较大的变化，本文基于JDK 1.8。sun.misc.Unsafe类提供的原子操作基于操作系统直接对CPU进行操作，而以下这些方法又是sun.misc.Unsafe类中经常被使用的：
Unsafe 是用于在实质上扩展 Java 语言表达能力、便于在 Java 代码里实现原本要在 C 层实现的核心库功能用的。这些功能包括裸内存的申请、释放、访问，低层硬件的 atomic/volatile 支持，创建未初始化对象等。但由于 Unsafe 类使 Java 语言拥有不应该暴露的骚操作，增加了程序出问题的风险。
凯撒密码是一种简单的替换加密技术，也称为移位密码。它是古典密码学中最早的密码之一，得名于古罗马军队领袖凯撒·尤利乌斯（Julius Caesar），据说他曾经使用过这种加密方法。
Kafka 里消费者从属于消费者群组，一个群组里的消费者订阅的都是同一个主题，每个消费者接收主题一部分分区的消息。
##前言 多态是Java语言重要的特性之一，它允许基类的指针或引用指向派生类的对象，而在具体访问时实现方法的动态绑定。Java对于方法调用动态绑定的实现主要依赖于方法表，但通过引用调用（invokevitual）和接口引用调用（invokeinterface）的实现则有所不同。
多态的使用大家应该都比较了解，但是多态的实现原理就有点抽象了，查了很多很多资料，连续几天断断续续的看，有时候看着看着就走神了。毕竟太抽象，哈哈~
系列第一篇文章就分析过 Class 文件格式，我们都知道 .java 源文件经过编译器编译会生成 JVM 可识别的 .class 文件。在 Android 中，不管是 Dalvik 还是 Art，和 JVM 的区别还是很大的。Android 系统并不直接使用 Class 文件，而是将所有的 Class 文件聚合打包成 DEX 文件，DEX 文件相比单个单个的 Class 文件更加紧凑，可以直接在 Android Runtime 下执行。
一、创建 函数str： 函数 (str) 接受任意数量的参数。如果参数不是字符串则将其转换为字符串，返回创建的新字符串。如果没有参数或为nil，则返回空字符串""
spark读取kafka数据流提供了两种方式createDstream和createDirectStream。 两者区别如下： 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是Kafka高层次的消费者api，对于所有的receivers接收到的数据将会保存在Spark executors中，然后通过Spark Streaming启动job来处理这些数据，默认会丢失，可启用WAL日志，该日志存储在HDFS上 A、创建一个receiver来对kafka进行定时拉取数据，ssc的rdd分区和kafka的topic分区不是一个概念，故如果增加特定主体分区数仅仅是增加一个receiver中消费topic的线程数，并不增加spark的并行处理数据数量 B、对于不同的group和topic可以使用多个receivers创建不同的DStream C、如果启用了WAL，需要设置存储级别，即KafkaUtils.createStream(….,StorageLevel.MEMORY_AND_DISK_SER) 2.KafkaUtils.createDirectStream 区别Receiver接收数据，这种方式定期地从kafka的topic+partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，使用的是kafka的简单消费者api 优点: A、 简化并行，不需要多个kafka输入流，该方法将会创建和kafka分区一样的rdd个数，而且会从kafka并行读取。 B、高效，这种方式并不需要WAL，WAL模式需要对数据复制两次，第一次是被kafka复制，另一次是写到wal中
其他的类库还有Year、Month、DayOfWeek、MonthDay、YearMonth等。值得注意的是：JSR-310增加的日期API是严格区分年月日-时分秒格式的日期表示类，例如XXXDateTime一定表示为年月日时分秒（纳秒），XXXTime只能表示时分秒（纳秒），XXXDate只能表示年月日。
在工作中，我们误删数据或者数据库，我们一定需要跑路吗？我看未必，程序员一定要学会自救，神不知鬼不觉的将数据找回。
在这里我们解释如何配置 Spark Streaming 以接收来自 Kafka 的数据。有两种方法，一种为使用 Receivers 和 Kafka 高级API的旧方法，以及不使用 Receivers 的新方法（在 Spark 1.3 中引入）。它们具有不同的编程模型，性能特征和语义保证。就目前的 Spark 版本而言，这两种方法都被为稳定的API。
AQS的全称是AbstractQueuedSynchronizer，它的定位是为Java中几乎所有的锁和同步器提供一个基础框架。
Java最初被设计为一种安全的受控环境。尽管如此，Java HotSpot还是包含了一个“后门”，提供了一些可以直接操控内存和线程的低层次操作。这个后门类——sun.misc.Unsafe——被JDK广泛用于自己的包中，如java.nio和java.util.concurrent。但是丝毫不建议在生产环境中使用这个后门。因为这个API十分不安全、不轻便、而且不稳定。这个不安全的类提供了一个观察HotSpot JVM内部结构并且可以对其进行修改。有时它可以被用来在不适用C++调试的情况下学习虚拟机内部结构，有时也可以被拿来做性能监控和开发工具。
在流处理和大数据领域，Apache Kafka已经成为了一个不可或缺的工具。作为一个分布式流处理平台，Kafka不仅提供了高性能的数据传输能力，还具备强大的数据持久化和状态管理功能。其中，消费状态跟踪是Kafka保障数据一致性和可靠性的关键机制之一。本文将详细探讨Kafka是如何维护消费状态跟踪的。
在 OpenTelemetry Go 项目的重大新闻中，必须包括通过引入 eBPF 技术，实现对使用 OpenTelemetry 的 Go 服务的自动 instrumentation 。之前，在自动为应用程序添加 instrumentation 方面，Go 存在严重的限制，这限制了 OpenTelemetry Go 项目的覆盖范围。之前所承诺的在 Go 应用程序中实现"自动 instrumentation "的指南，最终仍然需要对应用程序代码进行一些编辑。
Java多态的实现机制是父类或接口定义的引用变量可以指向子类或实现类的实例对象，而程序调用的方法在运行期才动态绑定，就是引用变量所指向的具体实现对象的方法，也就是内存里正在运行的那个对象的方法，而不是引用变量的类型中定义的方法。
最近我们一直在学习java高并发，java高并发中主要涉及到类位于java.util.concurrent包中，简称juc，juc中大部分类都是依赖于Unsafe来实现的，主要用到了Unsafe中的CAS、线程挂起、线程恢复等相关功能。所以如果打算深入了解JUC原理的，必须先了解一下Unsafe类。
创建 JFrame 窗口后 , 通过调用 JFrame#setDefaultCloseOperation 可以设置窗口自动关闭 ;
之前我们介绍过了 Kafka 整体架构，Kafka 生产者，Kafka 生产的消息最终流向哪里呢？当然是需要消费了，要不只产生一系列数据没有任何作用啊，如果把 Kafka 比作餐厅的话，那么生产者就是厨师的角色，消费者就是客人，只有厨师的话，那么炒出来的菜没有人吃也没有意义，如果只有客人没有厨师的话，谁会去这个店吃饭呢？！所以如果你看完前面的文章意犹未尽的话，可以继续让你爽一爽。如果你没看过前面的文章，那就从现在开始让你爽。
了解了 Dex 文件以后，对日常开发中遇到一些问题能有更深的理解。如：APK 的瘦身、热修复、插件化、应用加固、Android 逆向工程、64K 方法数限制。
也许平时开发中你只用到过LocalDateTime这个API，那是极好的，但是不能止步于此，否则就图样图森破了。
Apache Kafka，以其高性能、高吞吐量和可扩展性，成为大数据处理和实时数据流处理领域的首选消息队列。不同于传统消息中间件，Kafka以发布/订阅模式为核心，设计为分布式系统，特别适合处理大规模的数据流。本文将快速概览Kafka的基础概念、常见的陷阱与应对策略，并通过Java代码示例加深理解。
简要：开发中，常常因为需要我们要认为修改消费者实例对kafka某个主题消费的偏移量。具体如何修改？为什么可行？其实很容易，有时候只要我们换一种方式思考，如果我自己实现kafka消费者，我该如何让我们的消费者代码如何控制对某一个主题消费，以及我们该如何实现不同消费者组可以消费同一个主题的同一条消息，一个消费组下不同消费者消费同一个主题的不同消息。如果让你实现该框架该如何实现？
即数据文件中的存储结构为： 【blockSize(4byte)->blockData】=>【blockSize(4byte)->blockData】
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
IO 即 Input/Output，输入和输出。数据输入到计算机内存的过程即输入，反之输出到外部存储（比如数据库，文件，远程主机）的过程即输出。数据传输过程类似于水流，因此称为 IO 流。IO 流在 Java 中分为输入流和输出流，而根据数据的处理方式又分为字节流和字符流。
对消息队列来说，偏移量是一个非常重要的概念，如果偏移量保存失败，可能会造成消息丢失、消息重复消费等问题。今天来聊一聊 RocketMQ 是怎么保存消息偏移量的。
什么是游戏外挂？ 试想场景，在玩游戏时，没有得到良好的游戏体验，加之玩游戏的这位又是偏激之人，此时心生愤怒，但通过自己的游戏技术，又无法得到发泄。所以很无奈，只能打开一种游戏作弊程序，这种游戏作弊程序就叫做游戏外挂。
Spark 针对 Kafka 的不同版本，提供了两套整合方案：spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10，其主要区别如下：
转自：博客园，作者：crane_practice 链接： www.cnblogs.com/crane-practice/p/3671074.html
IO也就是Input/Output ，数据拿到计算机内存中的过程即为输入，反之，数据从内存输出到外部存储（可以是远程主机、磁盘、数据库等）的过程即为输出。数据传输过程类似于水流，因此称作IO流。IO流在Java中分为输出流和输入流，根据数据的处理方式又分为字节流和字符流。（这里的输入输出是以程序为中心的，输入指程序接收输入，输出指程序把数据输出到外部存储）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
