开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >2021年大数据Flink（二十九）：Flink 容错机制 Savepoint

2021年大数据Flink（二十九）：Flink 容错机制 Savepoint

Lansonli

发布于 2021-10-09 09:41:20

发布于 2021-10-09 09:41:20

65600

代码可运行

举报

文章被收录于专栏：Lansonli技术博客Lansonli技术博客

运行总次数：0

代码可运行

Savepoint

Savepoint介绍

Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩

在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容...

那么这时候需要执行一次Savepoint也就是执行一次手动的Checkpoint/也就是手动的发一个barrier栅栏,那么这样的话,程序的所有状态都会被执行快照并保存,

当维护/扩容完毕之后,可以从上一次Savepoint的目录中进行恢复!

Savepoint VS Checkpoint

Savepoint演示

# 启动yarn session

/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d



# 运行job-会自动执行Checkpoint

/export/server/flink/bin/flink run --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar



# 手动创建savepoint--相当于手动做了一次Checkpoint

/export/server/flink/bin/flink savepoint 702b872ef80f08854c946a544f2ee1a5 hdfs://node1:8020/flink-checkpoint/savepoint/



# 停止job

/export/server/flink/bin/flink cancel 702b872ef80f08854c946a544f2ee1a5



# 重新启动job,手动加载savepoint数据

/export/server/flink/bin/flink run -s hdfs://node1:8020/flink-checkpoint/savepoint/savepoint-702b87-0a11b997fa70 --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar



# 停止yarn session

yarn application -kill application_1607782486484_0014

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021/04/30 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

2021年大数据Flink（二十八）：Flink 容错机制自动重启策略和恢复

node.js flink http 大数据

如果配置了Checkpoint,而没有配置重启策略,那么代码中出现了非致命错误时,程序会无限重启

Lansonli

2021/10/09

2.7K0

2021年大数据Flink（六）：Flink On Yarn模式

yarn flink 大数据 node.js

在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：

Lansonli

2021/10/11

1.6K0

2021年大数据Flink（四）：Standalone独立集群模式

node.js http flink 大数据腾讯云测试服务

TaskManager界面：可以查看到当前Flink集群中有多少个TaskManager，每个TaskManager的slots、内存、CPU Core是多少

Lansonli

2021/10/11

1.1K0

flink on yarn部署

flink yarn node.js zookeeper 大数据

在zookeeper，HDFS 和Yarn的组件的安装好的前提下，在客户机上提交Flink任务，具体流程如下：

Java架构师必看

2021/08/12

2.3K0

Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行

大数据 ide yarn node.js 打包

我们在系列文章第一篇已经为大家介绍了 Flink 的基本概念以及安装部署的过程，希望能够帮助读者建立起对 Flink 的初步印象。这是系列文章第二篇，主要面向于初次接触 Flink 或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。

Java帮帮

2019/11/14

1.5K0

大数据Flink进阶（十五）：Flink On Yarn任务提交

大数据处理套件 TBDS flink

Flink On Yarn即Flink任务运行在Yarn集群中，Flink On Yarn的内部实现原理如下图：

Lansonli

2023/04/08

6.9K0

大数据Flink进阶（十五）：Flink On Yarn任务提交

2021年大数据Flink（二十七）：Flink 容错机制 Checkpoint

flink 分布式 node.js 存储大数据

一般指一个具体的Operator的状态(operator的状态表示一些算子在运行的过程中会产生的一些历史结果,如前面的maxBy底层会维护当前的最大值,也就是会维护一个keyedOperator,这个State里面存放就是maxBy这个Operator中的最大值)

Lansonli

2021/10/09

1.1K0

使用FLINK SQL从savepoint恢复hudi作业（flink 1.13）

kafka flink 大数据 sql 数据库

Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍

从大数据到人工智能

2022/01/19

1.5K0

使用FLINK SQL从savepoint恢复hudi作业（flink 1.13）

大数据Flink进阶（十六）：Flink HA搭建配置

大数据处理套件 TBDS flink

默认情况下，每个Flink集群只有一个JobManager，这将导致单点故障（SPOF，single point of failure），如果这个JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败，这是我们可以对JobManager做高可用（High Availability，简称HA），JobManager HA集群当Active JobManager节点挂掉后可以切换其他Standby JobManager成为主节点，从而避免单点故障。用户可以在Standalone、Flink on Yarn、Flink on K8s集群模式下配置Flink集群HA,Flink on K8s集群模式下的HA将单独在K8s里介绍。

Lansonli

2023/04/08

3K0

大数据Flink进阶（十六）：Flink HA搭建配置

2021年大数据Flink（七）：参数总结

大数据 flink

参数总结 [root@node1 bin]# /export/server/flink/bin/flink --help ./flink <ACTION> [OPTIONS] [ARGUMENTS] The following actions are available: Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file> <arguments> "run" action opti

Lansonli

2021/10/11

8810

快速入门Flink (2) —— Flink 集群搭建

flink 大数据 yarn node.js hadoop

上一篇博客博主已经为大家介绍了 Flink的简介与架构体系，本篇博客，我们来学习如何搭建Flink集群。

大数据梦想家

2021/01/27

2.7K0

快速入门Flink (2) —— Flink 集群搭建

使用 Kubernetes 部署 Flink 应用

kubernetes hadoop 容器容器镜像服务

https://blog.csdn.net/zjerryj/article/details/100063858

王知无-import_bigdata

2019/09/25

2.1K0

使用 Kubernetes 部署 Flink 应用

Flink学习笔记(5) -- Flink 状态(State)管理与恢复

flink 文件存储大数据 node.js 数据结构

我们前面写的word count的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。

挽风

2021/04/13

3.6K0

Flink学习笔记(5) -- Flink 状态(State)管理与恢复

Flink 实践之 Savepoint

flink 大数据 node.js

保障 flink 作业在配置迭代、flink 版本升级、蓝绿部署中的数据一致性，提高容错、降低恢复时间；

Flink 实战演练

2022/07/26

1.9K0

2024年最新Flink教程,从基础到就业，大家一起学习--flink部署和集群部署(从本地测试到公司生产环境如何部署项目源码)

源码部署测试基础教程

这些内容都是自己一边学习一边总结的，其中每一个知识点都是经过翻阅大量资料整理，包含一些常见的报错和报警都会详细的举例和说明，大家一起学习。

小白的大数据之旅

2024/11/20

6060

2024年最新Flink教程,从基础到就业，大家一起学习--flink部署和集群部署(从本地测试到公司生产环境如何部署项目源码)

Flink on Yarn三部曲之三：提交Flink任务

专用宿主机 yarn node.js flink ssh

现在Flink、Yarn、HDFS都就绪了，接下来实践提交Flink任务到Yarn执行；

程序员欣宸

2020/05/26

1.3K0

flink实战-实时计算平台通过api停止流任务

flink 大数据 yarn node.js api

今天我们主要讲一下如何通过api的方式来停止一个通过per job模式部署在yarn集群上的任务。

大数据技术与应用实战

2020/09/15

2.9K0

flink实战-实时计算平台通过api停止流任务

听说你熟悉Flink-On-Yarn的部署模式？

Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式，本文分析两种模式及启动流程。

王知无-import_bigdata

2019/07/15

3K0

听说你熟悉Flink-On-Yarn的部署模式？

[1131]Flink(1.13)命令行提交Job

flink 大数据 yarn https node.js

请注意，客户端需要YARN_CONF_DIR或HADOOP_CONF_DIR环境变量来读取YARN和HDFS配置。没配置的话，就默认是 /etc/hadoop/conf。

周小董

2022/04/28

2.3K0

大数据Flink进阶（十一）：Flink History Server配置使用

大数据处理套件 TBDS flink

基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。

Lansonli

2023/04/08

4.1K0

大数据Flink进阶（十一）：Flink History Server配置使用

相关推荐

2021年大数据Flink（二十八）：Flink 容错机制自动重启策略和恢复

更多 >

LV.8

腾云先锋腾云先锋（TDP）成员

作者相关精选

换一批

目录

Savepoint
- Savepoint介绍
- Savepoint VS Checkpoint
- Savepoint演示

交个朋友

加入腾讯云官网粉丝站

蹲全网底价单品享第一手活动信息

加入讨论

的问答专区 >

AI智享空间0

作者擅长5个领域

相关课程

一站式学习中心 >

腾讯云WeData大数据开发与治理训练营

数据开发治理平台 WeData

腾讯云向量数据库快速上手训练营

向量数据库