Spark内核源码深度分析

Spark内核架构术语

• Application： 基于Spark的用户程序，包含了一个driver program 和 集群中多个的executor

• Driver Program ：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program。

• Cluster Manager： 在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)

• Worker Node： 集群中任何可以运行Application代码的节点

• Executor： 是为某Application运行在worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的executors。

• Task： 被送到某个executor上的工作单元

• Job： 包含多个Task组成的并行计算，往往由Spark action催生，该术语可以经常在日志中看到。

• Stage： 每个Job会被拆分很多组task，每组任务被称为Stage，也可称TaskSet，该术语可以经常在日志中看到。

• RDD：Spark的基本计算单元，可以通过一系列算子进行操作（主要有Transformation和Action操作），

• DAG Scheduler：根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler，详见DAG Scheduler 细解。

• TaskScheduler：将Taskset提交给worker（集群）运行并回报结果，详见TaskScheduler 细解。

1.png

Stage是什么

1.png