我正在使用GoogleDataflow中的BeamKafkaIO源运行一个作业,并且无法找到一种简单的方法来在作业重新启动期间持久化偏移(作业更新选项是不够的,我需要重新启动作业)
比较BEAM的KafkaIO与PubSubIO(或者准确地比较PubsubCheckpoint与KafkaCheckpointMark),我可以看到在KafkaIO中没有实现检查点持久性(KafkaCheckpointMark.finalizeCheckpoint方法是空的),而它是在PubsubCheckpoint中实现的。
这是否意味着我没有办法可靠地管理卡夫卡在工作中的抵消,用最少的努力重新启动?
到目前为止,我考虑的备选方案如下:
相似问题