问具有大状态的Apache Flink中的保存点
EN

Stack Overflow用户

提问于 2021-08-14 19:42:23

回答 1查看 155关注 0票数 1

我想使用Rocksdb状态后端在Flink中保持大约2TB的状态。我将使用增量检查点，因此它将显著减少检查点时间。

但有时我必须更改代码，例如重新缩放、修复错误、添加新的过滤器/映射、添加新的源/接收器等。

所有这些都会影响作业拓扑。当状态发生变化时，我可以再次启动状态。但在其他时候，引导状态可能会很困难，因为这对我来说意味着浪费时间。

在这些情况下，我必须使用一个保存点来重新启动我的作业。我还会在作业运行时定期获取保存点，以便在作业失败时(例如每15分钟)从最新的保存点重新启动作业。但是，由于状态较大，获取保存点的时间会太长。MTTR (平均恢复时间)对我来说非常重要。如何提高保存点性能？

发布于 2021-08-16 12:58:05

您可以将保留的检查点用于不更改拓扑、需要状态迁移或升级Flink版本(例如，重新缩放或不影响状态的简单代码更改)的重新部署--但在其他情况下，您应该使用保存点。对于大型状态，这可能需要相当长的一段时间(我没有任何关于如何加快速度的想法)。

您可以考虑某种蓝/绿部署策略是否适合您，而不是尝试提高保存点性能。例如，请参见Zero-downtime upgrades of Flink applications。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68786503

复制

相似问题

问具有大状态的Apache Flink中的保存点EN