【赵渝强老师】Spark的容错机制-检查点原创

本节课我们来讨论一下18课的容错机制。检查点在18课中执行任务时，通过RDD的宽依赖关系可以将18课任务划分成阶段。划分18个任务执行阶段的意义在于支持检查点的容错。这里可以把检查点看成是一个文件系统或者是数据库，这里的文件系统通常是HTFS。下面来看一个例子，这里有一个18g任务，它被划分成了三个阶段，分别是阶段一、阶段二和阶段3。当阶段一执行完成后，通过检查点的方式将内存中的数据写入文件系统或者是数据库中，当阶段二执行完成后，也执行同样的操作。如果在阶段3执行过程中出现的错误，如宕机、内存崩溃等，就可以重新读取检查点中的信息来恢复阶段3的计算，从而支持容错，下面来看一下具体的操作。这里通过使用斯巴。

Comp设置的检查点目录是HDFN，创建一个RDD，这里执行的是单词技术程序，调用该RDD的切算子标识RDD的执行计算时支持检查点，然后通过R算子触发一个计算。计算完成后，使用HDFS的命令可以查看在HDFS上生成的检查点文件信息。现在你已经知道18g的容错机制了，那你知道18g还有哪些功能特性吗？欢迎评论区言言讨论好了记得点加号关注赵玉强老师。