【引子】周末，读了一篇同事推荐的论文《STUN: Reinforcement-Learning-Based Optimization of Kernel Scheduler Parameters for Static Workload Performance》，很有启发，遂加入个人思考编译成文。
在上一篇文章中，我们知道，到 Linux 2.6.23 版本后，linux 实际上维护了一组调度器来实现不同的调度需要，它们被分为了四层：
在一项圣诞黑客项目中，一位Canonical工程师开发了一个能够在用户空间运行的Linux调度器。
要优化Linux性能，IT团队应该检查当前正在使用的I/O调度程序，并评估诸如deadline和完全公平队列(Completely Fair Queuing)这样的替代方案选项。 如果某台Linux服务器性能不佳，通常与存储信道有关。几十年前，还相对容易进行分析，服务器拥有RAID阵列，RAID阵列的顶层存在分区并且Ext2文件系统在分区顶层运行。然而在今天的数据中心，分析存储信道就不那么容易了。 许多现代数据中心的Linux服务器运行在VMware虚拟机管理程序的顶端，与不同类型的存储区域网络(Sto
在Linux中，线程是由进程来实现，线程就是轻量级进程（ lightweight process ），因此在Linux中，线程的调度是按照进程的调度方式来进行调度的，也就是说线程是调度单元。Linux这样实现的线程的好处的之一是：线程调度直接使用进程调度就可以了，没必要再搞一个进程内的线程调度器。在Linux中，调度器是基于线程的调度策略（scheduling policy）和静态调度优先级（static scheduling priority）来决定那个线程来运行。
找到问题跟原所在,默认的maxPods: 110,K8S默认一个节点上的pod调度数是110，当前有限制pod数的需求。 vim /var/lib/kubelet/config.yaml
在上一篇文章中介绍了 Linux 内核是如何对进程进行管理的，这篇将阐述内核是如何对进程进行调度。因为这篇文章努力用简单的语言把进程调度这件事情描述清楚，所以文章篇幅略长，建议收藏慢看。也欢迎关注公众号 CS 实验室 ，目前在写一些开发中常用但不常了解细节的东西，比如 Linux 内核、Python 进阶。
现代计算机体系中，硬盘是数据存储的持久化介质，硬盘的访问速度相比内存存在数量级的差距，因此有效的调度能更好利用资源，优化响应。 和CPU调度算法相似,调度的本质是对请求排序。在Linux系统中，这由I/O调度层负责。 在I/O调度之前，如果多个I/O在同一个sector中，或者是相邻sector。Linux可以把多个请求合并为一个来减少请求数量。这是在Block层处理的，可以设置开启或关闭。
进程是操作系统虚拟出来的概念，用来组织计算机中的任务。它从诞生到随着CPU时间执行，直到最终消失。不过，进程的生命都得到了操作系统内核的关照。就好像疲于照顾几个孩子的母亲内核必须做出决定，如何在进程间分配有限的计算资源，最终让用户获得最佳的使用体验。内核中安排进程执行的模块称为调度器（scheduler）。这里将介绍调度器的工作方式。
2018 即将结束，年末正是各种基准测试对比轮番出炉的时候，通过这些报告，我们可以看到 Linux 性能的各个方面在 2018 是如何发展的。但本文的这份性能对比会更加深入 —— 将研究五个主流 Linux 发行版在过去近三年里所经历的性能变化，而测试对象则是从 2016 年初开始的 CentOS, Clear Linux, Fedora, Ubuntu 和 openSUSE，到目前为止已安装稳定更新的最新版本。
编辑手记：本文主要讲解Linux IO调度层的三种模式：cfp、deadline和noop，并给出各自的优化和适用场景建议。 作者简介： 邹立巍 Linux系统技术专家。目前在腾讯SNG社交网络运营部
RT-Linux(Real-Time Linux)亦称作实时Linux，是Linux中的一种硬实时操作系统，它最早由美国墨西哥理工学院的V.Yodaiken开发。
进程提供了两种优先级，一种是普通的进程优先级，第二个是实时优先级。前者适用SCHED_NORMAL调度策略，后者可选SCHED_FIFO或SCHED_RR调度策略。任何时候，实时进程的优先级都高于普通进程，实时进程只会被更高级的实时进程抢占，同级实时进程之间是按照FIFO（一次机会做完）或者RR（多次轮转）规则调度的。 1.实时进程的调度 实时进程，只有静态优先级，因为内核不会再根据休眠等因素对其静态优先级做调整，其范围在0~MAX_RT_PRIO-1间。默认MAX_RT_PRIO配置为100，也即，
进程是操作系统虚拟出来的概念，用来组织计算机中的任务。但随着进程被赋予越来越多的任务，进程好像有了真实的生命，它从诞生就随着CPU时间执行，直到最终消失。不过，进程的生命都得到了操作系统内核的关照。就好像疲于照顾几个孩子的母亲内核必须做出决定，如何在进程间分配有限的计算资源，最终让用户获得最佳的使用体验。内核中安排进程执行的模块称为调度器（scheduler）。这里将介绍调度器的工作方式。
不允许容器消耗宿主机太多的内存是非常重要的。在 Linux 主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出 OOME 或 Out of Memory 异常，并开始终止进程以释放内存。任何进程都会被杀死，包括 Docker 和其他重要的应用程序。如果杀错进程，可能导致整个系统瘫痪。
上一篇文章中kubernetes系列教程（六）kubernetes资源管理和服务质量初步介绍了kubernetes中的resource资源调度和服务质量Qos，介绍了kubernetes中如何定义pod的资源和资源调度，以及设置resource之后的优先级别Qos，接下来介绍kubernetes系列教程pod的调度机制。
cgroup 与组调度 linux内核实现了control group功能（cgroup，since linux 2.6.24），可以支持将进程分组，然后按组来划分各种资源。比如：group-1拥有30%的CPU和50%的磁盘IO、group-2拥有10%的CPU和20%的磁盘IO、等等。具体参阅cgroup相关文章。 cgroup支持很多种资源的划分，CPU资源就是其中之一，这就引出了组调度。 linux内核中，传统的调度程序是基于进程来调度的（参阅《Linux 进程调度浅析》）。假设用户A和B共用一台机
从Linux 2.6.23开始，默认的调度器为CFS，即"完全公平调度器"(Completely Fair Scheduler)。CFS调度器取代了之前的"O(1)"调度器。
Nginx 可以基于ngx_http_upstream_module模块提供服务器分组转发、权重分配、状态监测、调度算法等高级功能
定时调度 作为MadPecker的后端开发人员，我们总会遇到这样的业务场景：每周同步一批数据；每半个小时检查一遍服务器运行状况；每天早上八点给用户发送一份包含今日待办事项的邮件，等等。
最近在研究Linux的短程调度（进程调度包括长程调度、中程调度和短程调度，详见参考博客1）相关的算法和调度器，由参考博客1可知，短程调度的主要任务是按照某种策略和算法将处理机分配给一个处于就绪状态的进程，分为抢占式和非抢占式。中程调度（又叫中级调度）的主要任务则是按照给定的原则和策略，将处于外存交换区中的就绪状态或等待状态的进程调入内存，或把处于内存就绪状态或内存等待状态的进程交换到外存交换区。长程调度（又叫高级调度）的主要任务则是将已进入系统并处于后备状态的作业按某种算法选择一个或一批，为其建立进程，并进入主机，装入内存；当该作业执行完毕时，负责回收系统资源。如下图所示：
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
Spark有三种集群部署模式，或者叫做集群管理模式。分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。 那么在实际的项目中，我们该如何对比选择呢?
首先需要思考的问题是：什么是调度器（scheduler）？调度器的作用是什么？调度器是一个操作系统的核心部分。可以比作是CPU时间的管理员。调度器主要负责选择某些就绪的进程来执行。不同的调度器根据不同的方法挑选出最适合运行的进程。目前Linux支持的调度器就有RT scheduler、Deadline scheduler、CFS scheduler及Idle scheduler等。我想用一系列文章呈现Linux 调度器的设计原理。
本文主要是《Linux内核设计与实现》这本书的读书笔记，这本书我读了不下十遍，但依然感觉囫囵吞枣。我结合自己的理解，从这本书中整理出了一些运维应该了解的内核知识，希望对大家能够有所帮助。另外，推荐大家读下这边书，这本书主要讲内核设计、实现原理和方法，有利于理解内核的一些机理。
前几天和一个在某研究所的发小聊天，他说：现在的航空、航天和导弹等武器装备中，控制系统几乎都是用单片机，而不是嵌入式系统。
微服务从传统虚拟机迁移到在 Kubernetes 上运行的 Docker 容器是大势所趋。Docker 容器是完整的可交付软件包和依赖项，通常可以被认为是轻量级虚拟机。虽然这可能是一个非常方便的简化，但了解容器是如何使用 Linux 控制组 (cgroup) 和命名空间实现的很重要。了解这些特性和限制有助于我们提高服务的性能，尤其是在性能压力较大的情况下。
赖滨，腾讯云高级工程师，7+年专注于操作系统相关技术。目前负责腾讯云原生OS的研发，以及OS/虚拟化的性能优化工作。 导语 调度器(Scheduler)子系统是内核的核心子系统之一，负责系统内 CPU 资源的合理分配，需要能处理纷繁复杂的不同类型任务的调度需求，还需要能处理各种复杂的并发竞争环境，同时还需要兼顾整体吞吐性能和实时性要求(本身是一对矛盾体)，其设计与实现都极具挑战。 为了能够理解 Linux 调度器的设计与实现，我们将以 Linux kernel 5.4 版本(TencentOS Serve
人生不是书上的故事，喜怒哀乐，悲欢离合，都在书页间，可书页翻篇何其易，人心修补何其难。——烽火戏诸侯《剑来》
简单讲，一个qidsc就是一个调度器。每个出接口都需要某种类型的调度器，默认的调度器为FIFO。Linux下的其他qdisc会根据调度器的规则来重新安排进入调度器队列的报文。
Linux Kernel Development 一书中，关于 Linux 的进程调度器并没有讲解的很全面，只是提到了 CFS 调度器的基本思想和一些实现细节；并没有 Linux 早期的调度器介绍，以及最近这些年新增的在内核源码树外维护的调度器思想。所以在经过一番搜寻后，看到了这篇论文 A complete guide to Linux process scheduling，对 Linux 的调度器历史进行了回顾，并且相对细致地讲解了 CFS 调度器。整体来说，虽然比较啰嗦，但是对于想要知道更多细节的我来说非常适合，所以就有了翻译它的冲动。当然，在学习过程也参考了其它论文。下面开启学习之旅吧，如有任何问题，欢迎指正~
通用块层是Linux中的一个重要组件，用于管理不同块设备的统一接口，减少不同块设备的差异带来的影响。它位于文件系统和磁盘驱动之间，类似于Java中的适配器模式，让我们无需关注底层实现，只需提供固定接口即可。
但凡懂Linux内核的，都知道Linux内核的CFS进程调度算法，无论是从2.6.23将其初引入时的论文，还是各类源码分析，文章，以及Linux内核专门的图书，都给人这样一种感觉，即 CFS调度器是革命性的，它将彻底改变进程调度算法。 预期中，人们期待它会带来令人惊艳的效果。
前言：在上一篇了解完进程状态后，我们简单了解了进程优先级，然后遗留了一点内容，本篇我们就来研究进程间的切换，来理解上篇提到的并发。如果对进程优先级还有没理解的地方可以先阅读：
Linux的文件IO子系统是Linux中最复杂的一个子系统（没有之一）。读者可以参考以下这个图：
这两天和同事讨论起linux进程调度的问题，比如进程统计、那些进程优先运行、怎么调度等，对此在这里和大家一同复习一下。先来说说怎么查看进程。在使用Linux操作系统的过程中，掌握如何查看和管理进程是系统管理的重要技能之一。进程管理不仅有助于监控系统资源的使用情况，还能帮助排查问题和优化系统性能。
云计算介绍 云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池，（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，需要投入很少的管理工作，或与服务供应商进行很少的交互。 1）云计算之前的使用模式 IDC 托管 IDC 租用 虚拟主机（买空间） VPS：虚拟专用主机 2）传统数据中心面临的问题 资源使用率低 资源分配不均 自动化能力差 3）云计算的优势 云计算是一种使用模式，不是一种技术 云计算的使用方式：通过网络访问 云计算的优势：弹
云豆贴心提醒，本文阅读时间7分钟 现在MySQL运行的大部分环境都是在Linux上的，如何在Linux操作系统上根据MySQL进行优化，我们这里给出一些通用简单的策略。这些方法都有助于改进MySQL的性能。 闲话少说，进入正题。 一、CPU 首先从CPU说起。 你仔细检查的话，有些服务器上会有的一个有趣的现象： 你cat /proc/cpuinfo时，会发现CPU的频率竟然跟它标称的频率不一样： 这个是Intel E5-2620的CPU，他是2.00G * 24的CPU，但是，我们发现第5颗C
这次给大家带来的是牛客一位昵称为一条咸鱼游啊游的朋友分享的面经，勾玉在这里做出分析解答，一起看看吧~
这些集群范围内的配置参数定义在Ceph的配置文件中，因此任何一个Ceph守护进程启动时都将会遵循已定义的设置。缺省的配置文件是ceph.conf，放在/etc/ceph目录下。这个配置文件有一个global部分和若干个服务类型部分。任何时候一个Ceph服务启动，都会应用[gloabl]部分，以及进程特定部分的配置。一个Ceph配置文件有多个部分，如下图所示。
先简单的介绍下关于LVS负载均衡 LVS（Linux Virtual Server）Linux服务器集群系统 针对高可伸缩，高可用服务的需求，给予IP层和内容请求分发的负载均衡调度解决方法，并在Linux的内核中实现，将一组服务器构成一个实现可伸缩，高可用网络服务的虚拟服务器 负载均衡： 大量的兵法访问或数据流量分担到多态节点设备分别处理，减少用户的等待时间 单个重负载的运算分担到多态节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户 负载调度器 一组服务器通过高速的局域网或者地理分布的广
调度程序没有太复杂的原理。最大限度地利用处理器时间的原则是，只要有可以执行的进程，那么就总会有进程正在执行。但是只要系统中进程的数目比处理器的个数多，就注定会有一些进程不能一 直执行。这些进程在等待运行。在一 组处于可运行状态的进程中选择一个来执行，是调度程序所需完成的基本工作。
问题导读 1.网络作为Yarn的资源，有什么好处？ 2.Yarn是否只支持调度和强制执行“传出流量”？ 3.Yarn是否支持入口流量？ 4.DistributedShell是否可以让用户指定网络带宽
该方法能够执行固定间隔时间的任务，时间间隔由time.sleep()的睡眠时间指定。
欢迎关注专栏：Java架构技术进阶。里面有大量batj面试题集锦，还有各种技术分享，如有好文章也欢迎投稿哦。
之所以叫做完全公平，是因为操作系统以每个线程占用 CPU 的比率来进行动态的计算，操作系统希望每一个进程都能够平均的使用 CPU 这个资源，雨露均沾。
大家好，我是飞哥！前几天看到一个有意思的问题，我前几天在朋友圈分享了，今天再在公众号里给大家发一下。
进程要访问某种资源，进程通过一定的方式排队，确认享受资源的优先顺序。计算机中资源过少，所以进程访问某种资源时需要排队。
livenessProbe：连续探测失败会重启、重建 pod，readinessProbe 不会执行重启或者重建Pod操作
默认情况下，它使用 NIST 的漏洞数据库 （NVD），并在终端中提供具有不同主题选项的搜索和列表功能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
