我们知道，程序需要获得CPU的资源才能被调度和执行，那么当一个进程由于某种原因放弃CPU然后进入阻塞状态，下一个获得CPU资源去被调度执行的进程会是谁呢？下图中，进程1因为阻塞放弃CPU资源，此时，进程2刚IO操作结束，可以获得CPU资源去被调度，进程3的时间片轮转结束，也同样可以获得CPU资源去被调度，那么，此时的操作系统应该安排哪个进程去获得CPU资源呢？这就涉及到我们操作系统的CPU调度策略了。
CPU调度是操作系统的基本功能。每当CPU空闲的时候，操作系统就会从就绪队列中选择一个程序来执行。进程选择由短期调度程序执行。
处理机调度基本概念 在处理机调度上可以分为三个层次，级别从低到高 哪些资源分给CPU（低） 选择哪些进程到外存中（中） 哪些作业放入内存（高） 处理机的调度实际上就是用不同的算法来将我们的作业合理分配，提高CPU的利用率。达到公平性、平衡性。 先来先服务算法FCFS 按照作业提交或进程变为就绪状态的先后次序,分派CPU； 当前作业或进程占用CPU，直到执行完或阻塞，才出让CPU(非抢占方式)。 在作业或进程唤醒后(如I/O完成)，并不立即恢复执行，通常等到当前作业或进程出让CPU。是最简单的算法。 谁先来，
在多道程序环境下，内存中存在着多个进程，进程的数目往往多于处理机的数目。这就要求系统能按某种算法，动态地将处理机分配给一个处于就绪状态的进程，使之执行。分配处理机的任务是由处理机调度程序完成的。
一、进程调度 无论是在批处理还是分时系统中，用户进程数一般都多于处理机数、这将导致它们互相争夺处理机。另外，系统进程也同样需要使用处理机。这就要求进程调度程序按一定的策略，动态地把处理机分配给处于就绪队列中的某一个进程，以使之执行。进程调度属于处理机调度。 处理机调度分为三个层次： 高级调度：(High-Level Scheduling)又称为长程调度、作业调度，它决定把外存上处于后备队列中的作业调入内存运行，为他们创建进程、分配必要的资源，放入就绪队列 低级调度：(Low-Level Scheduling
2. 掌握进程调度算法，如先来先服务调度算法（first come first served,FCFS）、短作业优先调度算法（shotjob first,SJF）、时间片轮转调度算法。
前言： 近来在准备校招的笔试面试，复习到操作系统时感觉概念性的东西比较多，不过对于以下的几类算法还是有必要做个小小总结。
多道程序操作系统的基础。通过在进程之间切换CPU，操作系统可以提高计算机的吞吐率。
当有一堆任务要处理，但由于资源有限，这些事情没法同时处理。这就需要确定某种规则来决定处理这些任务的顺序，这就是 “调度” 研究的问题。
系统将按照作业到达的先后次序来进行作业调度，或者说它是优先考虑在系统中等待时间最长的作业，而不管该作业所需执行时间的长短，从后备作业队列中优先选择几个最先进入该队列的作业，将他们调入内存，为他们分配资源和创建进程。然后把它放入就绪队列。当在进程调度中采用FCFS算法时，每次调度是从就绪的进程队列中选择一个最先进入该队列的进程，为之分配处理机，使之投入运行。该进程一直运行到完成或发生某事件而组赛后，进程调度程序才将处理机分配给其他进程。 在进程调度中采用先来先服务算法的时候，每次调度就从就绪队列中选一个最先进入该队列的进程，为之分配处理机，即谁第一排队谁就先被执行。
上一篇文章中，我们介绍了内核调度的基本概念，知道了调度器设计中最核心的两个指标 -- 周转时间与响应时间：
作业调度算法 1、FCFS算法（先来先服务算法）：算法每次从后备作业队列中选择最先进入该队列的一个或几个作业，将它们调入内存，分配必要的资源，创建进程并放入就绪队列。FCFS调度算法的特点是算法简单，但效率低；对长作业比较有利，但对短作业不利（相对SJF和高响应比）；有利于CPU繁忙型作业，而不利于I/O繁忙型作业。 2、SJF算法（短作业优先算法）：从后备队列中选择一个或若干个估计运行时间最短的作业，将它们调入内存运行。SJF调度算法的平均等待时间、平均周转时间最少；但对长作业非常不利。 3、HRN算法（
CPU 在计算机系统中是非常重要的，但是早期的时候非常简单，是因为它像其他资源一样被一个作业所独占，不存在什么处理及分配或者调度的问题，但是随着各种多道程序的设计以及不同类型的操作系统的出现，不同的CPU的管理方法将会为用户提供不同性能的操作系统
大多数人通常使用通过静态 main 方法执行驱动程序代码创建他们的 MapReduce 作业。这种实现的缺点是大多数特定的配置（如果有的话）通常都是硬编码的(例如：设置Reducer的个数)。如果需要随时修改一些配置属性（例如：修改Reducer数量），就必须修改代码，然后重新构建你的jar文件并重新部署应用程序。这种方式很浪费时间。这可以通过在 MapReduce 驱动程序代码中实现 Tool 接口来避免。
1. 分析 2. 伪代码 3. 思路图 4. 运行过程 5. 代码 5.1 C++版本 /********************************* * 日期：2014-04-01 *
用于作业调度时，考虑的是哪个作业先到达后备队列；用于进程调度时，考虑的是哪个进程先到达就绪队列
调度研究的问题是：面对有限的资源，如何处理任务执行的先后顺序。对于处理机调度来说，这个资源就是有限的处理机，而任务就是多个进程。故处理机调度研究的问题是：面对有限的处理机，如何从就绪队列中按照一定的算法选择一个进程并将处理机分配给它运行，从而实现进程的并发执行。处理机调度共有三个层次，这三个层次也是一个作业从提交开始到完成所经历的三个阶段。
Accumulator 是 spark 提供的累加器，累加器可以用来实现计数器（如在 MapReduce 中）或者求和。Spark 本身支持数字类型的累加器，程序员可以添加对新类型的支持。
今日闲来无聊，发现很早之前写的操作系统实验还没有整理，再加上有很多人问，索性就发成博客吧。
进程线程的区别 1、进程是什么？ 是具有一定独立功能的程序、它是系统进行资源分配和调度的一个独立单位，重点在系统调度和单独的单位，也就是说进程是可以独立运行的一段程序。 当进程激活时，操作系统就将系统的资源包括内存、I/O和CPU等分配给它，使它执行。 2、线程又是什么？ 线程进程的一个实体，是CPU调度和分派的基本单位，他是比进程更小的能独立运行的基本单位，线程自己基本上不拥有系统资源。每一个线程对应于它在进程中的一个函数，也就是内存中的代码段，多个线程执行时CPU会根据它们的优先级分配时间，使它们完成自己的功能。 一般来说，进程中至少一个线程，一个主线程和其他线程组成一个进程。多个线程的目的在于分享CPU的时间片，从而完成并行任务。
使用上述命令打包后，会在项目根目录下的target目录生成jar包。打完jar包后，我们可以使用spark-submit提交任务：
软件工程师们总习惯把OS（Operating System，操作系统）当成是一个非常值得信赖的管家，我们只管把程序托管到OS上运行，却很少深入了解操作系统的运行原理。确实，OS作为一个通用的软件系统，在大多数的场景下都表现得足够的优秀。但仍会有一些特殊的场景，需要我们对OS进行各项调优，才能让业务系统更高效地完成任务。这就要求我们必须深入了解OS的原理，不仅仅只会使唤这个管家，还能懂得如何让管家做得更好。
综上即FCFS算法对长作业有利，对短作业不利（例如上面例题种P3作业的带权周转时间达到了很大的8）
进程的调度算法是操作系统用来决定哪个进程可以执行的一种策略，常见的进程调度算法包括：
先来先服务算法指的是按照作业/进程到达的先后顺序进行服务的，主要从“公平”的角度考虑。用于作业调度时，考虑的是哪个作业先到达后备队列；用于进程调度时，考虑的是哪个进程先到达就绪队列，是非抢占式算法，不会导致饥饿（某进程/作业长时间得不到服务）
发现换一台机器提交作业就没有问题，怀疑是版本的问题，经过对比，原来是我编译Spark所使用的Hadoop版本和线上Hadoop版本不一致导致的，当前使用Hadoop版本是2.7，而线上是使用的2.2。后来使用线上Hadoop版本重新编译了Spark，这个问题就解决了。
进程调度是指在进程之间选择一个进程将其送上CPU执行，通常这个是由操作系统中的调度程序执行。
文中的很多图片来源我考研时看的网课，B 站上应该还能找到，王道考研出品的操作系统系列，各位可以去看看，适用于考试，不太适用于春招秋招，因为知识点讲的太细，边边角角都会讲到，各位可以挑几个章节去看。全文脉络思维导图如下：
当进程1执行陷入阻塞时，需要进行进程调度，此时有进程2和进程3都处于就绪态，问: 应该选择哪个进程进行切换？
在多道程序环境中，主存中有着多个进程，其数目往往多于处理机数量。这就要求系统能按照某种算法动态地把处理机分配给就绪队列中的一个进程，使之执行，分配处理机的任务是由处理机调度程序完成的。 处理机调度 在多道程序系统中，一个作业被提交后必须经过处理机调度后，方能获得处理机执行。对于批量型作业而言，通常需要经历作业调度（也称为高级调度）和进程调度（也称为低级调度）两个过程才能获得处理机；而对于终端型作业而言，通常只需要经过进程调度就可以获得处理机。除了上述两种调度，操作系统中往往也设置了中级调度，用来提
Hexo 是一个快速、简洁且高效的博客框架。Hexo 使用 Markdown（或其他渲染引擎）解析文章（经常玩CSDN上的人都知道），在几秒内，即可利用靓丽的主题生成静态网页。通过Hexo我们可以快速创建自己的博客，仅需要几条命令就可以完成。发布时，Hexo可以部署在自己的Node服务器上面，也可以部署github上面。对于个人用户来说，部署在github上好处颇多，不仅可以省去服务器的成本，还可以减少各种系统运维的麻烦事(系统管理、备份、网络)。所以，在这里我是基于github搭建的个人博客站点。
Spark Streaming 是 Spark Core API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字等许多源中提取，并且可以使用由诸如map，reduce，join或者 window 等高级函数组成的复杂算法来处理。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理后的数据应用到 Spark 的机器学习算法、 图处理算法中去。
线程调度器和时间分片是操作系统中与多线程相关的两个重要概念。下面将从两方面进行详细介绍。
操作系统的处理器资源主要是介绍了，由于多道程序设计带来的并发性，内存中运行多个进程并发运行。而处理器资源是远远小于进程的数量的，所以如何调度处理器给合适的进程成为了OS的焦点。
调度研究的问题：当有一堆任务要处理，但由于资源有限，这些事情没法同时处理。这就需要确定某种规则来决定处理这些任务的顺序，这就是调度研究的问题。
大家好，我是cloud3，本文讲一下操作系统中的调度算法以及多处理中的调度问题。
给一个庞大的GPU集群，在实际的应用中，现有的大数据调度器会导致长队列延迟和低的性能，该文章提出了Tiresias，即一个GPU集群的调度器，专门适应分布式深度学习任务，该调度器能够有效率的调度并且合适地放置深度学习任务以减少他们的任务完成时间（JCT(Job Completion Time)），一个深度学习任务执行的时间通常是不可预知的，该文章提出两种调度算法，基于局部信息的离散化二维Gittins索引(Discretized Two Dimensional Gittins index)以及离散化二维LAS，对信息不可知并且能够降低平均的JCT，在实验中JCT能够快5.5倍，相比于基于Apache YARN的资源管理
https://www.nature.com/articles/s41559-022-01753-8
在 YARN 中，每个应用程序实例都有一个 ApplicationMaster 进程，该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源，应用程序将指示 NodeManagers 启动容器。ApplicationMasters 消除了对活跃客户端的依赖：启动应用程序的进程可以终止，并且从在集群上由 YARN 管理的进程继续协作运行。
字符串匹配是数据库开发和文字处理软件的关键。幸运的是所有现代编程语言和字符串库函数,帮助我们的日常工作。不过理解他们的原理还是比较重要的。
进程（Process） 是计算机科学中的一个基本概念，表示运行中的程序的实例。每个进程都有自己的独立内存空间、系统资源和执行流程，进程之间相对独立。以下是关于进程的详细介绍：
使用多线程时，不是多线程能提升程序的执行速度，使用多线程是为了更好地利用CPU资源！
一、CPU调度的相关概念 1.1 cpu调度 其任务是控制、协调进程对cpu的竞争，即按一定的调度算法从就绪队列中选择一个进程，把cpu的使用权交给被选中的进程。如果没有就绪进程，系统会安排一个系统空闲进程或idle进程进入cpu运行。 1.2 系统场景 * N个进程就绪、等待上cpu运行 * M个cpu， M>=1 * 需要决策：给哪个进程分配哪一个cpu？ 1.3 cpu调度要解决的三个问题 1、按什么原则选择下一个要执行的进程：调度算法 2、何时进行选择：调度时机 3、如何让被选中的进程上cpu中运行
CPU调度，决定了CPU执行进程的策略，好的调度policy需要兼顾进程首次被调度的等待时间和进程结束执行的等待时间，因此在算法设计上极其精妙。本章完全Copy自OSTEP，介绍了基础的调度算法。
很多小伙伴私信要word下载，我就整理出来了一份pdf，是和线上的完全一样，建议大家看线上的，因为pdf下载需要收费，但是下载有好处就是可以打印出来复习，各位伙伴自行选择吧。现在这里给出pdf完整下载： 操作系统（第四版）期末复习总结.pdf_操作系统复习-OS文档类资源-CSDN下载
1.8 Assume you have a method isSubstring which checks if one word is a substring of another. Given two strings, s1 and s2, write code to check if s2 is a rotation of s1 using only one call to isSubstring ( i.e., “waterbottle” is a rotation of “erbottlewat”).
进程是计算机中一个独立的执行单位，它是操作系统分配资源和调度的基本单位，每个进程都有自己的内存空间，互相之间不会影响
要在你的计算机上安装ZooKeeper框架，请访问该链接并下载最新版本的ZooKeeper。 到目前为止，最新稳定版本的ZooKeeper是3.4.12(ZooKeeper-3.4.12.tar.gz)。
很多学习完《操作系统原理》这门课程的小伙伴都应该对“FCFS（先到先服务）”、“SJF（短作业优先）”等调度算法原理比较熟悉。但是在实际做题的时候，往往一不小心就把概念搞错，不容易区分“作业调度”和“进程调度”的区别。下面我主要针对这两个概念进行解析并给出经典习题解答。 PS：本博客并不详解每种调度算法的原理，因此有这方面需求的小伙伴可以直接pass了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
