Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >2021年大数据Flink（二十九）：Flink 容错机制 Savepoint

2021年大数据Flink（二十九）：Flink 容错机制 Savepoint

Lansonli

发布于 2021-10-09 09:41:20

发布于 2021-10-09 09:41:20

67400

代码可运行

举报

文章被收录于专栏：Lansonli技术博客Lansonli技术博客

运行总次数：0

代码可运行

Savepoint

Savepoint介绍

Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩

在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容...

那么这时候需要执行一次Savepoint也就是执行一次手动的Checkpoint/也就是手动的发一个barrier栅栏,那么这样的话,程序的所有状态都会被执行快照并保存,

当维护/扩容完毕之后,可以从上一次Savepoint的目录中进行恢复!

Savepoint VS Checkpoint

Savepoint演示

# 启动yarn session

/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d



# 运行job-会自动执行Checkpoint

/export/server/flink/bin/flink run --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar



# 手动创建savepoint--相当于手动做了一次Checkpoint

/export/server/flink/bin/flink savepoint 702b872ef80f08854c946a544f2ee1a5 hdfs://node1:8020/flink-checkpoint/savepoint/



# 停止job

/export/server/flink/bin/flink cancel 702b872ef80f08854c946a544f2ee1a5



# 重新启动job,手动加载savepoint数据

/export/server/flink/bin/flink run -s hdfs://node1:8020/flink-checkpoint/savepoint/savepoint-702b87-0a11b997fa70 --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar



# 停止yarn session

yarn application -kill application_1607782486484_0014

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021/04/30 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

2021年大数据Flink（二十八）：Flink 容错机制自动重启策略和恢复

node.js flink http 大数据

如果配置了Checkpoint,而没有配置重启策略,那么代码中出现了非致命错误时,程序会无限重启

Lansonli

2021/10/09

2.8K0

2021年大数据Flink（二十七）：Flink 容错机制 Checkpoint

flink 分布式 node.js 存储大数据

一般指一个具体的Operator的状态(operator的状态表示一些算子在运行的过程中会产生的一些历史结果,如前面的maxBy底层会维护当前的最大值,也就是会维护一个keyedOperator,这个State里面存放就是maxBy这个Operator中的最大值)

Lansonli

2021/10/09

1.1K0

2021年大数据Flink（六）：Flink On Yarn模式

yarn flink 大数据 node.js

在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：

Lansonli

2021/10/11

1.6K0

快速入门Flink (2) —— Flink 集群搭建

flink 大数据 yarn node.js hadoop

上一篇博客博主已经为大家介绍了 Flink的简介与架构体系，本篇博客，我们来学习如何搭建Flink集群。

大数据梦想家

2021/01/27

2.8K0

快速入门Flink (2) —— Flink 集群搭建

使用FLINK SQL从savepoint恢复hudi作业（flink 1.13）

kafka flink 大数据 sql 数据库

Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍

从大数据到人工智能

2022/01/19

1.6K0

使用FLINK SQL从savepoint恢复hudi作业（flink 1.13）

2021年大数据Flink（七）：参数总结

大数据 flink

参数总结 [root@node1 bin]# /export/server/flink/bin/flink --help ./flink <ACTION> [OPTIONS] [ARGUMENTS] The following actions are available: Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file> <arguments> "run" action opti

Lansonli

2021/10/11

9060

2021年大数据Flink（五）：Standalone-HA高可用集群模式

node.js flink jar http zookeeper

从之前的架构中我们可以很明显的发现 JobManager 有明显的单点问题(SPOF，single point of failure)。JobManager 肩负着任务调度以及资源分配，一旦 JobManager 出现意外，其后果可想而知。

Lansonli

2021/10/11

9360

2024年最新Flink教程,从基础到就业，大家一起学习--flink部署和集群部署(从本地测试到公司生产环境如何部署项目源码)

源码部署测试基础教程

这些内容都是自己一边学习一边总结的，其中每一个知识点都是经过翻阅大量资料整理，包含一些常见的报错和报警都会详细的举例和说明，大家一起学习。

小白的大数据之旅

2024/11/20

8660

2024年最新Flink教程,从基础到就业，大家一起学习--flink部署和集群部署(从本地测试到公司生产环境如何部署项目源码)

Flink部署及作业提交（On YARN）

flink yarn 大数据 node.js shell

在上一篇 Flink部署及作业提交（On Flink Cluster）文章中，我们介绍了如何编译部署Flink自身的资源分配和管理系统，并将作业提交到该系统上去运行。但通常来讲这种方式用得不多，因为在企业中，可能会使用不同的分布式计算框架，如Spark、Storm或MapReduce等。

端碗吹水

2020/09/30

4K0

Flink部署及作业提交（On YARN）

2021年大数据Flink（四）：Standalone独立集群模式

node.js http flink 大数据腾讯云测试服务

TaskManager界面：可以查看到当前Flink集群中有多少个TaskManager，每个TaskManager的slots、内存、CPU Core是多少

Lansonli

2021/10/11

1.1K0

flink on yarn部署

flink yarn node.js zookeeper 大数据

在zookeeper，HDFS 和Yarn的组件的安装好的前提下，在客户机上提交Flink任务，具体流程如下：

Java架构师必看

2021/08/12

2.4K0

大数据Flink进阶（十五）：Flink On Yarn任务提交

大数据处理套件 TBDS flink

Flink On Yarn即Flink任务运行在Yarn集群中，Flink On Yarn的内部实现原理如下图：

Lansonli

2023/04/08

7.4K0

大数据Flink进阶（十五）：Flink On Yarn任务提交

使用 Kubernetes 部署 Flink 应用

kubernetes hadoop 容器容器镜像服务

https://blog.csdn.net/zjerryj/article/details/100063858

王知无-import_bigdata

2019/09/25

2.2K0

使用 Kubernetes 部署 Flink 应用

Flink运行方式及对比

http yarn node.js flink 大数据

Flink on Yarn 中的 Per Job 模式是指每次提交一个任务，然后任务运行完成之后资源就会被释放。

码客说

2023/01/08

2.7K1

大数据Flink进阶（十一）：Flink History Server配置使用

大数据处理套件 TBDS flink

基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。

Lansonli

2023/04/08

4.3K0

大数据Flink进阶（十一）：Flink History Server配置使用

Flink 实践之 Savepoint

flink 大数据 node.js

保障 flink 作业在配置迭代、flink 版本升级、蓝绿部署中的数据一致性，提高容错、降低恢复时间；

Flink 实战演练

2022/07/26

2K0

大数据_Hadoop初体验

hadoop 大数据

root@node1 server$ scp -r /export/server/hadoop root@node2:$PWD

Pandolar

2022/01/04

1.1K0

[1131]Flink(1.13)命令行提交Job

flink 大数据 yarn https node.js

请注意，客户端需要YARN_CONF_DIR或HADOOP_CONF_DIR环境变量来读取YARN和HDFS配置。没配置的话，就默认是 /etc/hadoop/conf。

周小董

2022/04/28

2.4K0

Flink checkpoint

flink 大数据存储

Checkpoint是Flink实现容错机制最核心的功能，能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot，从而将这些状态数据定期持久化存储下来，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些Snapshot进行恢复，从而修正因为故障带来的程序数据状态中断。

awwewwbbb

2022/05/19

8280

Flink checkpoint

Flink on Yarn三部曲之三：提交Flink任务

专用宿主机 yarn node.js flink ssh

现在Flink、Yarn、HDFS都就绪了，接下来实践提交Flink任务到Yarn执行；

程序员欣宸

2020/05/26

1.3K0

相关推荐

2021年大数据Flink（二十八）：Flink 容错机制自动重启策略和恢复

更多 >

LV.8

腾云先锋腾云先锋（TDP）成员

作者相关精选

换一批

目录

Savepoint
- Savepoint介绍
- Savepoint VS Checkpoint
- Savepoint演示

加入讨论

的问答专区 >

派大星的数据屋0

高级数据分析师擅长5个领域

相关课程

一站式学习中心 >

腾讯云WeData大数据开发与治理训练营

数据开发治理平台 WeData

腾讯云向量数据库快速上手训练营

向量数据库

一站式MCP教程库，解锁AI应用新玩法

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手