我正在使用GoogleDataflow中的BeamKafkaIO源运行一个作业,并且无法找到一种简单的方法来在作业重新启动期间持久化偏移(作业更新选项是不够的,我需要重新启动作业)
比较BEAM的KafkaIO与PubSubIO(或者准确地比较PubsubCheckpoint与KafkaCheckpointMark),我可以看到在KafkaIO中没有实现检查点持久性(KafkaCheckpointMark.finalizeCheckpoint方法是空的),而它是在PubsubCheckpoint中实现的。
这是否意味着我没有办法可靠地管理卡夫卡在工作中的抵消,用最少的努力重新启动?
到目前为止,我考虑的备选方案如下:
别个分析是
libcurl4-gnutls-dev的包没安装上造成的
但是我本地无法手动 apt-get 安装这个包哇?
apt-get install libkrb5-dev libcurl4-gnutls-dev
题主,这个应该是这里的错误,configure: error: Please reinstall the libcurl distribution -
easy.h should be in <curl-dir>/include/curl/。