Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Hadoop资源调度器

Hadoop资源调度器

作者头像
jiewuyou
发布于 2022-09-23 13:47:23
发布于 2022-09-23 13:47:23
4290
举报
文章被收录于专栏:数据人生数据人生

        YARN上提供三套调度器:Capacity Scheduler、Fair Scheduler、FIFO Scheduler。本文将对这几种调度器进行描述。

FIFO Scheduler:单队列单用户调度器。

Capacity Scheduler和Fair Scheduler具有很多相似的地方:1)多队列多用户调度器;2)每个队列可配置子队列;3)可以为每一个队列分别配置资源,包括最小资源量和最大资源量,并指定队列的用户权限;4)当一个队列的资源空闲时,可以分配给其他队列使用;5)队列内部的调度算法:均支持优先级的FIFO调度算法和DRF调度算法,而Fair Scheduler还支持fair调度策略,即n个作业的资源量均为1/n。

        但这两种调度器的核心调度策略不一样:当有资源空闲时,Capacity Scheduler会将资源优先分配给资源占用少的队列,而Fair Scheduler会将资源优先分配给缺额大的队列。

参考资料: hadoop2.0 yarn 之 资源调度器 基于hadoop2.2.0

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2014-03-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
YARN资源调度器
随着Hadoop的普及,单个Hadoop集群的用户量越来越大,不同用户提交的应用程序往往具有不同的服务质量要求,典型的应用有以下几种: 批处理作业。这种作业往往耗时较长,对完成时间一般没有严格要求,如数据挖掘、机器学习等方面的应用程序 交互式作业。这种作业期望能及时返回结果,如用HIVE执行查询 生产性作业。这种作业要求有一定量的资源保证,如统计值计算、垃圾数据分析等 ---- 基本架构 资源调度器是YARN中最核心的组件之一,且是插拔式的,它定义了一整套接口规范以便用户可按照需要实现自己的调度器 YAR
codingforfun
2018/08/24
1.2K0
工作常用之Yarn详解【五】资源调度与隔离
在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。
Maynor
2022/12/02
2.2K0
【赵渝强老师】Yarn的资源调度策略
Yarn作为一个资源和任务调度的平台,在实际应用中往往不止一个应用程序运行在Yarn之上,例如:在Yarn上同时运着MapReduce任务、Spark任务和Flink任务等等。这时候Yarn就需要有一种机制进行调度去分配资源给这些应用程序。
赵渝强老师
2024/08/12
1320
【赵渝强老师】Yarn的资源调度策略
BigData--Yarn资源调度器
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
MiChong
2020/09/24
6000
YARN—容量调度器
了解 YARN的容量调度器的基本功能通常是在各种部署中需要处理的一个概念。虽然容量管理涉及共享、扣款和预测等许多方面,但本博客的重点将放在可供平台操作使用的主要功能上。除了基本功能之外,还将复审一些在设计或使用队列时经常遇到的问题。
从大数据到人工智能
2022/09/08
1.7K0
YARN—容量调度器
Yarn中的三种调度策略
这个策略没啥好讲的,提交一个任务进入队列,调度器根据优先级和到达先后进行排序,一次给每一个应用分配资源,知道没有资源为止。没有人会在生产环境用这个策略,性能太差了。
reisende
2021/10/20
4.5K0
Hadoop基础教程-第5章 YARN:资源调度平台(5.5 YARN的调度器)
打个比方,Hadoop相当于一台虚拟计算机(由多台计算机构造的集群),那么HDFS就是这台虚拟计算机的文件系统,管理磁盘资源;而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序(比如5.4节跑的PI和wordcount两个应用程序)就是在这台虚拟计算机跑的应用程序,需要磁盘、内存和CPU等资源。
程裕强
2022/05/06
4290
Hadoop基础教程-第5章 YARN:资源调度平台(5.5 YARN的调度器)
Hadoop YARN:调度性能优化实践
今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区
数据猿
2019/08/09
8670
Hadoop YARN:调度性能优化实践
YARN Capacity Scheduler(容量调度器)
以队列为单位划分资源,每个队列可设定一定比例的资源最低保证和使用上限,同时,每个用户也可设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时,可暂时将剩余资源共享给其他队列。总之,Capacity Scheduler主要有以下几个特点:
codingforfun
2018/08/24
2.2K0
YARN资源调度策略
YARN 资源调度器是直接从MR基础上修改而来,它提供了三种可用资源调度器。
洛杉矶
2018/08/25
8.5K0
Hadoop框架:Yarn基本结构和运行原理
Hadoop三大核心组件:分布式文件系统HDFS、分布式计算框架MapReduce,分布式集群资源调度框架Yarn。Yarn并不是在Hadoop初期就有的,是在Hadoop升级发展才诞生的,典型的Master-Slave架构。
知了一笑
2020/12/28
5900
Hadoop框架:Yarn基本结构和运行原理
Capacity Scheduler - vs - Fair Scheduler
Yarn 自带了两个支持多用户、多队列的调度器,分别是 Capacity Scheduler(容量调度器) 和 Fair Scheduler(公平调度器),前文YARN Capacity Scheduler(容量调度器)对 Capacity Scheduler 进行了介绍,本文通过将通过比较 Fair Scheduler 与 Capacity Scheduler 进行比较的方式来介绍 Fair Scheduler 并说明两者的异同点。
codingforfun
2018/08/24
2.7K0
Capacity Scheduler - vs - Fair Scheduler
大数据知识总结(三):Hadoop之Yarn重点架构原理
Apache Hadoop Yarn(Yet Another Reasource Negotiator,另一种资源协调者)是Hadoop2.x版本后使用的资源管理器,可以为上层应用提供统一的资源管理平台。
Lansonli
2025/05/24
900
Firmament – 大规模集群任务调度
随着分布式计算集群规模的不断扩张,任务调度系统的稳定性成为了整个集群稳定的关键因素。随着容器技术的快速兴起,基于容器的计算平台被大量应用,任务调度的规模及频率快速上升,这对任务调度系统提出了更为严苛的挑战。常见的调度系统往往兼顾了准确度却牺牲了性能,容器调度的复杂性使得在准确和效率之间找到平衡点很难,尤其是在交互式调度的场景下,可取的解决方案更是捉襟见肘。本篇文章就以此为背景,介绍大规模调度场景下分布式任务调度的难点、解决策略及现有的一些方案。
星哥玩云
2022/07/24
7570
Firmament – 大规模集群任务调度
hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
资源管理器(ResourceManager):整个集群所有资源的管理者。作用:处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。
lovelife110
2022/06/14
1.5K0
hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
Yarn资源调度策略
Yarn既然是一个分布式资源调度框架,管理着节点上的计算资源,那它分配这些资源的时候,便会存在调度策略。
十里桃花舞丶
2021/01/05
1.2K0
Yarn资源调度策略
Yarn调度队列
在Yarn中,负责给应用分配资源的是Scheduler,并提供了多种调度器和可配置的策略供选择。 在Yarn中有是三种调度器可以选择:FIFO Scheduler,Capacity Scheduler,Fair Scheduler。 FIFO Scheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用分配资源,待最头上的应用需求满足后再给下一个分配,以此类推。 FIFO Scheduler是最简单也是最容易理解的调度器,不需要任何配置,但其不适用于共享集群。大的应用可能会占用所有集群资源,这就导致其它应用被阻塞。在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler,这两种调度器都允许大任务和小任务在提交的同时获得一定的资源。 下面Yarn调度器对比图展示了这几个调度器的区别,从图中可以看出,在FIFO调度器中,小任务会被大任务阻塞。 而对于Capacity调度器,有一个专门的队列用来运行小任务,但是为小任务专门设置一个队列会占用一定的集群资源,这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。 在Fair调度器中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源。如下图所示,当第一个大job提交时,只有这一个job在运行,此时它获得了所有集群资源;当第二个小任务提交后,Fair调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源。 需要注意的是,在下图Fair调度器中,从第二个任务提交到获得资源会有一定的延迟,因为它需要等待第一个任务释放占用的Container。小任务执行完成以后也会释放自己占用的资源,大任务又获得了全部的系统资源。最终的效果就是Fair调度器既得到了高资源的利用率又能保证小任务的及时执行。
王知无-import_bigdata
2019/12/20
1.7K0
YARN 资源调度那些事儿
本篇文章简要介绍了YARN调度器,以及小米的探索与实践。 作者:小米运维 已获得原创公众号:小米运维授权,原文章地址:https://mp.weixin.qq.com/s?__biz=MzUxMDQx
Fayson
2018/10/23
2.4K0
YARN 资源调度那些事儿
Hadoop YARN:调度性能优化实践
YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。
Python数据科学
2019/09/08
8070
Hadoop Yarn上的调度器
Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
smartsi
2019/08/07
7360
相关推荐
YARN资源调度器
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档