Yarn:为一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。
ResourceManager:整个集群所有资源的管理者。作用:处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。
NodeManager:单个节点服务器资源管理者。作用:管理单个节点上的资源、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令。
ApplicationMaster:单个任务运行的老大,任务在Container内运行客户端提交一个job,就会产生一个ApplicationMaster。作用:为应用程序申请资源并分配给内部的任务、任务的监控与容错。
Container:对任务运行环境的抽象,虚拟化技术容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、cpu、磁盘、网络等。好处:任务运行完直接释放。
ApplicationMaster(AppMstr)要运行一个任务,要向ResourceManager(RM)申请,ResourceManager就会分配一个NodeManager(NM)来运行任务,假如ApplicationMaster要运行一个maptask,RM就会在当前NM节点上开辟一个资源,再运行。 如果当前RM资源不足,则AppMstr向RM申请,在其他NM节点开辟资源运行任务。