SparkStreaming On Kafka —— Offset 管理

一、Kafka 消费者如何管理 offset

我之前有写一篇kafka Consumer — offset的控制 如果你对于这方面的知识还不太清楚， 建议你去看一下， 毕竟理解了Kafka的消费者， 你才能更好的使用SparkStreaming结合Kafka。

二、Spark Streaming On Kafka 如何管理 offset

1. 自动提交

1.1 使用

这个没什么好讲的， 应该是最简单的方式， 我们只需要在使用的时候， 确保 enable.auto.commit=true就行， 那么Spark每次拉取到Kafka的数据后， offset会即刻保存。

1.2 缺点

这种方式的缺点很明显， 当我们拉取到数据之后， offset就被提交了， 如果后续我们数据处理失败， 下次再去读取， 将会从offset的地方进行读取， 这样失败的数据就会被认为已经成功处理， 也就发生了数据丢失。

不过这种方式在一些对数据要求不是很精准的场景比较好用， 因为使用起来是真的非常简单， 所以如果你不 Care 这一点点的数据丢失， 那就果断用起来吧！！！

2. 手动提交

既然自动提交会造成数据缺失， 那么我们有什么办法不造成数据缺失吗？ 那就是手动提交了。 下面我们来聊聊手动提交的一些方式。

2.1 使用

首先确保 enable.auto.commit=false， 当我们从kafka拉取到数据， 就不会再自动提交offset了， 这时候的offset就可以任由我们自己控制， 一个很典型的方式就是， 当Spark处理完一个批次的数据， 我们把这个offset 提交到 kafka。

2.2 手动提交容易出现的问题

我们可以想象，当我们处理完数据后， 我们才对offset进行了提交， 这也意味着如果数据处理失败， 我们可以选择不提交offset， 下次我们还是可以从kafka读到该批数据， 然后再进行处理， 这时候自然是不会存在数据丢失的， 但是如果我们上次处理的这批数据成功一半，失败一半， 那么成功的那一半数据就会被重复消费了。

2.3 那么我们能否做到 EOS 的处理

使用SparkStreaming想要做到EOS其实还是挺难的， 但是也并非不可以，下面我们来看看如何做到EOS。

首先我们知道， 使用手动消费我们的数据是很容易做到at least once语义的， 所以要做到 EOS， 我们只需要关注如何做到处理的数据不重复即可。

• 2.3.1 通过事务来实现 很多时候，我们处理完的数据是要放到一些数据库的， 如果这个数据库支持事务， 那么我们可以把输出的结果 和 需要保存的offset 打包， 当成一个事物提交到该数据库， 这样我们就借助了数据库的事务完成了EOS语义。 这种方式就比较依赖于第三方数据库了， 如果落地的数据库对事物支持不友好， 那么这种方式就不太行了。
• 2.3.2 通过输出幂等来实现 我们既然已经做到了不丢数据的处理， 那么我们主需要保证输出的数据不重复， 也就可以做到 EOS了， 一个很典型的例子就是通过ID去重， 比如订单数据，我们都有唯一的订单号， 那么输出数据的时候看一下这个订单是否处理过， 处理过则不再处理， 这样也是可以实现的， 这种方式在一些线性处理的场景好用， 但是一旦涉及到数据需要聚合， 可能就不是那么好实现了。
• 2.3.3 通过输出文件来实现 我们很多时候的重复可能是来源于Spark的重试机制， 比如Task 重试，那么这个Task的部分数据可能就会重复消费， 但是一般，我们不会关闭这个机制。 那么我们如何来规避这种重复消费呢？ 其实我们应该可以发现， Spark是有一些输出幂等的算子的， 比如saveAsTextFile， 不管过程是否有重试， 其结果数据都是幂等的。 这样也是可以做到EOS， 不过这种方式的限制也很大， 因为既然是实时数据， 这个时间是否能满足也是个问题

基本都是说的一些理论的东西 不过我这些实现起来也都不难， 我也就不多赘述了， 如果有需要代码或者例子的， 可以留言， 后续也许会出一篇关于实现的文章。

最后希望本文对你有所帮助，喜欢就点个赞吧~~~