集群资源管理器：Hadoop YARN

Hadoop YARN（Yet Another Resource Negotiator）是Apache Hadoop项目的一部分，它是一个集群资源管理器，用于管理和调度Hadoop集群中的资源。YARN的设计目标是提高集群的利用率，支持多种数据处理模型，包括但不限于MapReduce。

### YARN的主要组件：

1. **ResourceManager (RM)**：负责整个集群的资源管理和调度。它接受来自节点的资源使用情况报告，并根据策略分配资源给各个应用程序。

2. **NodeManager (NM)**：在每个集群节点上运行，负责监控节点的健康状况，执行任务，并报告资源使用情况给ResourceManager。

3. **ApplicationMaster (AM)**：是YARN中的一种特殊类型的应用程序，负责资源请求和任务调度。每个应用程序启动时，都会启动一个ApplicationMaster，它与ResourceManager协商资源，并与NodeManager交互以启动和监控任务。

4. **Client**：与ResourceManager和ApplicationMaster交互，提交应用程序，并可以查询应用程序的状态。

### YARN的工作流程：

1. **应用程序提交**：用户通过Client提交应用程序到ResourceManager。

2. **启动ApplicationMaster**：ResourceManager为应用程序分配第一个容器（资源集合），并启动ApplicationMaster。

3. **资源协商**：ApplicationMaster与ResourceManager协商所需的资源量。

4. **任务调度**：ApplicationMaster根据资源分配情况，向NodeManager请求执行任务。

5. **任务执行**：NodeManager在分配的容器内执行任务，并将任务状态和进度报告给ApplicationMaster。

6. **应用程序完成**：当所有任务执行完毕后，ApplicationMaster向ResourceManager报告应用程序完成，并释放所有资源。

### YARN的特点：

- **多租户**：支持多个用户和应用程序共享集群资源。

- **扩展性**：设计用于大规模集群，可以管理成千上万的节点。

- **灵活性**：支持多种数据处理模型，不仅限于MapReduce。

- **容错性**：能够处理节点故障和网络问题，保证应用程序的连续运行。

YARN是Hadoop生态系统中的关键组件，它的引入使得Hadoop能够支持更广泛的数据处理工作负载，并提高了资源的利用效率。