hadoop入门:第六章YARN文档概述

1.YARN 结构 文档简介： Yarn的基本思想是拆分资源管理的功能，作业调度/监控到单独的守护进程

英文网址： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html 2.Hadoop: Capacity 调度 文档简介 本文档介绍了capacityscheduler，hadoop可插拔scheduler 允许多租户安全共享大的集群，他们的应用在分配的能力约束下及时分配资源。 英文网址： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 3.Hadoop: Fair 调度 文档简介 这个文档描述了FairScheduler，hadoop可插拔scheduler允许yarn应用fairly共享资源在大集群。 英文网址： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html ########################### 上面两个文档详细介绍了hadoop调度方式 4.ResourceManger 重启 文档简介 ResourceManager 是中央权威，管理资源和调度应用运行YARN 。因此，潜在单点故障在YARN 集群。本文给出了概述，重启ResourceManager，一个功能提高ResourceManager 保持运行，对于终端用户使ResourceManager宕机时间不可见。 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 5.ResourceManager 高可用 文档简介 本指南提供了Yarn的ResourceManager高可用性概述，和详细描述了如何配置和使用这个功能。ResourceManager（RM）负责跟踪资源集群，和调度应用（等MapReduce jobs）。Hadoop 2.4之前，YARN 集群有单点故障。这个高可用功能添加冗余在一个Active/Standby ResourceManager 队的形式，移除这个，否则就是单点故障。 结构：

英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 6.YARN 节点Labels 文档简介 节点标签是一种具有相似特性的组节点的方式，应用程序可以指定运行的地方。 英文网址： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeLabel.html 7.Web 应用代理 文档简介 web应用代理是Yarn一部分。默认它运行作为 Resource Manager(RM)一部分，但是可以被配置为运行单机模式 英文网络： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html 8.YARN Timeline Server 文档简介 存储和检索当前应用和历史信息以通用的方式在Yarn处理，通过 Timeline Server 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/TimelineServer.html 9.Hadoop: Writing YARN 应用 文档简介 本文档描述了一个高层次的方法来实现Yarn的新应用。 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 10.YARN 命令 文档简介 YARN 命令被bin/yarn脚本调用。运行yarn 没有任何脚本，打印所有命令描述 英文网址： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html 11.NodeManager 重启 文档简介 本文给出了nodemanager概述（nm）重启，一个功能，启用NodeManager，重启不会丢失激活的运行在节点的containers。在高水平，NM 存储任何需要的状态在本地状态存储，因为它处理容器管理需求。当NM 重启，它首先恢复加载各个子系统状态和然后让这些子系统执行恢复使用加载状态。 英文网址： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeManagerRestart.html 12.Docker Container Executor 文档简介 Docker 包括易于使用的接口与Linux容器使用易于构建镜像文件为这些容器。总之，Docker 是一个很轻的虚拟机。 Docker Container Executor (DCE) 允许 YARN NodeManager启动Yarn容器到Docker 容器。用户可以指定Docker 镜像，他们想要他们的Yarn容器。这些容器提供定制的软件环境，软件环境中用户代码运行，隔离NodeManager软件环境。这些容器可以包含应用程序所需要的特殊库，和安装在NodeManager的软件，有不同版本的 Perl, Python,和甚至Java 。确实，这些容器可以运行不同的Linux flavor 比运行在NodeManager 的，尽管如此，YARN container 必须定义运行job所需要的所有的环境和libraries ，不会与NodeManager共享。 YARN Docker 提供二者一致性（所有YARN 容器将会有相同的软件环境）和隔离（与物理机安装不会发生冲突） 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html 13.使用YARN的CGroups 文档简介 CGroups 是一种聚集/划分任务组的机制 CGroups 是一个Linux内核的功能，并入内核版本2.6.24。从Yarn的角度，这允许容器限制他们的资源使用。 一个很好的例子就是CPU 的使用。没有CGroups，它变的很难限制容器CPU的使用。当前，CGroups 仅用于限制CPU使用。 英文网址 http://hadoop.apache.org/docs/r2 ... ManagerCgroups.html 14.Yarn安全容器 文档简介 一个安全的集群中的Yarn容器使用操作系统设备为容器提供执行隔离。安全容器执行在job用户凭据下。操作系统强制访问容器的限制。容器必须运行使用提交应用程序。 安全的容器只在有安全的Yarn的背景下工作。 英文网址 http://hadoop.apache.org/docs/r2 ... ecureContainer.html 15.YARN Service 注册 服务注册是一种服务，可以部署在Hadoop集群,允许部署的应用程序注册自己的方式与他们通信。客户端应用程序可以使用绑定信息 连接网络访问端点，他们REST, IPC, Web UI, Zookeeper quorum+path或则其它协议 英文网址 http://hadoop.apache.org/docs/r2 ... registry/index.html