我在多年的工程生涯中发现很多工程师碰到一个共性的问题：Linux工程师很多，甚至有很多有多年工作经验，但是对一些关键概念的理解非常模糊，比如不理解CPU、内存资源等的真正分布，具体的工作机制，这使得他们对很多问题的分析都摸不到方向。比如进程的调度延时是多少？Linux能否硬实时？多核下多线程如何执行？系统的内存究竟耗到哪里去了？我写的应用程序究竟耗了多少内存？什么是内存泄漏，如何判定内存是否真的泄漏？CPU速度、内存大小和系统性能的关联究竟是什么？内存和I/O存在着怎样的千丝万缕的联系？
这两天和同事讨论起linux进程调度的问题，比如进程统计、那些进程优先运行、怎么调度等，对此在这里和大家一同复习一下。先来说说怎么查看进程。在使用Linux操作系统的过程中，掌握如何查看和管理进程是系统管理的重要技能之一。进程管理不仅有助于监控系统资源的使用情况，还能帮助排查问题和优化系统性能。
前言：在上一篇了解完进程状态后，我们简单了解了进程优先级，然后遗留了一点内容，本篇我们就来研究进程间的切换，来理解上篇提到的并发。如果对进程优先级还有没理解的地方可以先阅读：
操作系统堪称是IT皇冠上的明珠，Linux阅码场专注Linux操作系统内核研究, 它的文章云集了国内众多知名企业一线工程师的心得，畅销著作有《linux设备驱动开发详解 》等。
笔者作为通信工程的学生，在学习这门课之前虽然会用Linux完成一些简单的任务，但却从没有接触过这个操作系统的内在之美。之前学完C语言的时候，就想认识这个神秘的Linux内核了，可是一直在数学建模和各种活动中抽不开身，学习的过程也是不得其法。直到我看到孟宁老师的《Linux内核分析》这门课时，我想我大概可以在二十年后吹牛了：“当年我大二，读Linux内核源码的时候.....” 只是在学习的过程中，没有找到合适的参考书，导致复习有些困难。到了第六、七周早早的把视频看完，周末想写博客的时候却记不起来了。与其参考别
1、Linux 下进程分为5种类别，分别是停止类、截止类、实时类、公平类、空闲类，
本系列是对 陈莉君 老师 Linux 内核分析与应用[1] 的学习与记录。讲的非常之好，推荐观看
最近在研究Linux的短程调度（进程调度包括长程调度、中程调度和短程调度，详见参考博客1）相关的算法和调度器，由参考博客1可知，短程调度的主要任务是按照某种策略和算法将处理机分配给一个处于就绪状态的进程，分为抢占式和非抢占式。中程调度（又叫中级调度）的主要任务则是按照给定的原则和策略，将处于外存交换区中的就绪状态或等待状态的进程调入内存，或把处于内存就绪状态或内存等待状态的进程交换到外存交换区。长程调度（又叫高级调度）的主要任务则是将已进入系统并处于后备状态的作业按某种算法选择一个或一批，为其建立进程，并进入主机，装入内存；当该作业执行完毕时，负责回收系统资源。如下图所示：
基本介绍 Linux的进程调度器是内核中最重要的核心组件，它决定了一个进程合适获取CPU的时间以及占用CPU的时间。最佳情况下每个进程需要CPU执行指令的时间，如果需要保证进程之间的如何合理的分配CPU的指令执行时,进程的调度器需要具备如下的特性. Linux进程调度器采用类似于vfs的设计采用简单的两层结构模式，第一层是通用调度器，定义作为进程调度器的入口抽象层；第二层是调度器的具体实现，根据调度策略实现进程的调度的器的具体实现。第一层的使用了struct sched_class来描；第二层是具体的具
什么是红黑树？ 性质 每个节点不是红色就是黑色 不可能有连在一起的红色节点 根节点都是黑色 root 每个红色节点的两个子节点都是黑色。叶子节点都是黑色：出度为0 满足了性质就可以近似的平衡，不一定要红黑，可以为其他的 为了满足红黑树的性质，因此出现了旋转： 三种变换： 改变颜色：最简单 红变黑 黑变红 左旋：针对于点旋 右旋 旋转和颜色变换规则：所有插入的点默认为红色 变颜色的情况： 当前节点的父亲是红色，且它的祖父节点的另一个子节点也是红色（叔叔节点）： 把父节点设为黑色 把叔叔也设为黑色 把祖父也就
（1）复制的内容不同。strcpy只能复制字符串，而memcpy可以复制任意内容，例如字符数组、整型、结构体、类等。
arch：包含和硬件体系结构相关的代码，每种平台占一个相应的目录，如i386、arm、arm64、powerpc、mips等。Linux内核目前已经支持30种左右的体系结构。在arch目录下，存放的是各个平台以及各个平台的芯片对Linux内核进程调度、内存管理、中断等的支持，以及每个具体的SoC和电路板的板级支持代码。
上图对比了几种主流虚拟化技术架构——ESXi、Xen与KVM，其主要差别在于各组件（CPU、内存、磁盘与网络IO）的虚拟化与调度管理实现组件有所不同：在ESXi中，所有虚拟化功能都在内核实现；Xen内核仅实现CPU与内存虚拟化， IO虚拟化与调度管理由Domain0（主机上启动的第一个管理VM）实现；KVM内核实现CPU与内存虚拟化，QEMU实现IO虚拟化，通过Linux进程调度器实现VM管理。
我们在实际的开发过程中，经常打交道的就是线程，而进程呢，通常就是我们整个运行的程序。对于他们两个来说其实并不陌生，你要让我说出个一二三也可以讲，但可能也都是从使用的角度，而今天我们就从 操作系统 的角度来重新认识一下他们两个（从内核的角度看进程和线程长什么样）。
开发人员在高性能系统的性能调优过程中，经常会碰到各种背景的噪声干扰， 从而使得收集的数据不够精确。本文主要从CPU 以及Linux操作系统的角度来分析各种噪声的来源以及消除方法。最终的目标是搭建基准平台，在特定的cpu上实现”0”干扰。
来源：IBM 译者：ljianhui 链接：blog.csdn.net/ljianhui/article/details/46718835 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。
本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.1节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进
Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。 什么是进程？ 一个进程是一个运行在处理器的程序的一个实例。该进程使用Linux内核能够处理的任何资源来完成它的任务。 所有运行在Linux操作系统中
算法是基础，小蓝同学准备些总结一系列算法分享给大家，这是第8篇《平衡查找树概述》，非常赞！希望对大家有帮助，大家会喜欢！ 前面系列文章： 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想 算法基础：优先队列 二分查找 二叉树查找 平衡查找树概述 我们在上一节写了平衡树的一些理念和具体的实现名（算法基础7：平衡查找树概述），为了解决其查找成本较高的这个问题，我们采取了扩大节点来减少层级的方式来达到这个目标。根据这个理念，我们找到了平衡查找树树。 一、 下面我们来一起聊一聊平衡树的具体实现红黑
不知道前端小伙伴们都了解“红黑树”吗？本瓜，之前听是听过，但是它到底是干嘛的，并不十分清楚。在认识了平衡二叉树、AVL 树之后，现在已经来到了这个节点，必须来看下“红黑树”了！
| 导语 本文主要是讲Linux的调度系统, 由于全部内容太多，分三部分来讲，调度可以说是操作系统的灵魂，为了让CPU资源利用最大化，Linux设计了一套非常精细的调度系统，对大多数场景都进行了很多优化，系统扩展性强，我们可以根据业务模型和业务场景的特点，有针对性的去进行性能优化，在保证客户网络带宽前提下，隔离客户互相之间的干扰影响，提高CPU利用率，降低单位运算成本，提高市场竞争力。欢迎大家相互交流学习！
进程是通过fork系列的系统调用（fork、clone、vfork）来创建的，内核（或内核模块）也可以通过kernel_thread函数创建内核进程。这些创建子进程的函数本质上都完成了相同的功能——将调用进程复制一份，得到子进程。（可以通过选项参数来决定各种资源是共享、还是私有。）
因而内核提供了两个调度器主调度器，周期性调度器，分别实现如上工作, 两者合在一起就组成了核心调度器(core scheduler), 也叫通用调度器(generic scheduler).
负荷权重用struct load_weight数据结构来表示, 保存着进程权重值weight。其定义在/include/linux/sched.h, v=4.6, L1195, 如下所示
实时分为硬实时和软实时，硬实时要求绝对保证响应时间不超过期限，如果超过期限，会造成灾难性的后果，例如汽车在发生碰撞事故时必须快速展开安全气囊；软实时只需尽力使响应时间不超过期限，如果偶尔超过期限，不会造成灾难性的后果.
Workqueue 工作队列是利用内核线程来异步执行工作任务的通用机制，利用进程上下文来执行中断处理中耗时的任务，因此它允许睡眠。而 Softirq 和 Tasklet 在处理任务时不能睡眠。Softirq 是内核中常见的一种下半部机制，适合系统对性能和实时响应要求很高的场合，比如网络子系统，块设备，高精度定时器，RCU 等。
Linux是一个多用户多任务的操作系统。多用户是指多个用户可以在同一时间使用同一个linux系统；多任务是指在Linux下可以同时执行多个任务，更详细的说，linux采用了分时管理的方法，所有的任务都放在一个队列中，操作系统根据每个任务的优先级为每个任务分配合适的时间片，每个时间片很短，用户根本感觉不到是多个任务在运行，从而使所有的任务共同分享系统资源，因此linux可以在一个任务还未执行完时，暂时挂起此任务，又去执行另一个任务，过一段时间以后再回来处理这个任务，直到这个任务完成，才从任务队列中去除。这就是多任务的概念。 上面说的是单CPU多任务操作系统的情形，在这种环境下，虽然系统可以运行多个任务，但是在某一个时间点，CPU只能执行一个进程，而在多CPU多任务的操作系统下，由于有多个CPU，所以在某个时间点上，可以有多个进程同时运行。 进程的的基本定义是：在自身的虚拟地址空间运行的一个独立的程序，从操作系统的角度来看，所有在系统上运行的东西，都可以称为一个进程。
实时系统要求对事件的响应时间不能超过规定的期限，响应时间是指从某个事件发生到负责处理这个事件的进程处理完成的时间间隔，最大响应时间应该是确定的、可以预测的。
Linux 的同步机制不断发展完善。从最初的原子操作,到后来的信号量,从大内核锁到今天的自旋锁。这些同步机制的发展伴随Linux从单处理器到对称多处理器的过渡;
操作系统对内存的使用是按段的，例如: 我们编写的一个程序被操作系统加载到内存是按照数据段，代码段等形式分段载入。而操作系统自身的代码也是按段载入的，为了确保安全性，我们用户编写的程序是不能直接访问操作系统的相关段的，因此需要给不同段赋予不同的特权级。
首页_码到城攻码到城攻分享但不限于IT技术经验技巧、软硬资源、所闻所见所领会等，站点提供移动阅读、文章搜索、在线留言、支付打赏、个人中心、免签支付等功能
进程就是一个程序运行起来的状态，线程是一个进程中的不同的执行路径。 进程是OS分配资源的基本单位，线程是执行调度的基本单位。分配资源最重要的是：独立的内存空间，线程调度执行（线程共享进程的内存空间，没有自己独立的内存空间）
本文主要是《Linux内核设计与实现》这本书的读书笔记，这本书我读了不下十遍，但依然感觉囫囵吞枣。我结合自己的理解，从这本书中整理出了一些运维应该了解的内核知识，希望对大家能够有所帮助。另外，推荐大家读下这边书，这本书主要讲内核设计、实现原理和方法，有利于理解内核的一些机理。
多任务系统中, 内核负责管理各个任务, 或者说为每个任务分配CPU时间, 并且负责任务之间的通讯.
AVL树是一种自平衡的二叉查找树，又称平衡二叉树。AVL用平衡因子判断是否平衡并通过旋转来实现平衡，它的平衡的要求是：所有节点的左右子树高度差不超过1。AVL树是一种高平衡度的二叉树，执行插入或者删除操作之后，只要不满足上面的平衡条件，就要通过旋转来保持平衡，而的由于旋转比较耗时，由此我们可以知道AVL树适合用于插入与删除次数比较少，但查找多的情况。 由于维护这种高度平衡所付出的代价可能比从中获得的效率收益还大，故而实际的应用不多，更多的地方是用追求局部而不是非常严格整体平衡的红黑树。 红黑树(Red Black Tree)，它一种特殊的二叉查找树，是AVL树的特化变种，都是在进行插入和删除操作时通过特定操作保持二叉查找树的平衡，从而获得较高的查找性能。 红黑树的平衡的要求是：从根到叶子的最长的路径不会比于最短的路径的长超过两倍。 因此，红黑树是一种弱平衡二叉树，在相同的节点情况下，AVL树的高度<=红黑树。 红黑树是用弱平衡来换取增删节点时候旋转次数的降低，任何不平衡都会在三次旋转之内解决，降低了对旋转的要求，从而提高了性能，所以对于查询，插入，删除操作都较多的情况下，用红黑树。
设计云时到底要不要用vxlan，如果用vxlan到底要不要购买比较贵的smart nic做offload，采用软件vxlan还是硬件交换机vxlan，很难决策，这儿简单测试一下，给个参考，资源终究是有限的，成本还是有考虑的，了解清楚云上业务再做决策。
设备的中断会打断内核进程中的正常调度和运行，系统对更高吞吐率的追求势必要求中断服务程序尽量短小精悍。但是，这个良好的愿望往往与现实并不吻合。在大多数真实的系统中，当中断到来时，要完成的工作往往并不会是短小的，它可能要进行较大量的耗时处理。 下图描述了Linux内核的中断处理机制。为了在中断执行时间尽量短和中断处理需完成的工作尽量大之间找到一个平衡点，Linux将中断处理程序分解为两个半部：顶半部和底半部。
好文推荐 Linux shell编程常用方法总结 C++基础知识精髓 Linux下AutoMake创建工程流程 Qt5.7.1添加支持openssl zynq平台移植python3.10.5 作为一名Linux软件攻城狮，top命令大家应该并不陌生。top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况。top可以动态显示过程,不断刷新当前状态。top命令提供了实时的对系统处理器的状态监视。它将显示系统中的任务列表，内存使用和执行时间对任务进行排序。 1、top命令的使用方式
由图可知程序会先由编译器编译成机器指令，运行之前先把程序放入内存，在内存中创建一个进程实体。一个进程实体(进程映像)由PCB、程序段、数据段组成。然后CPU从内存中取出指令，来运行程序。
虽然我们在区分Linux进程类别, 但是我还是想说Linux下只有一种类型的进程，那就是task_struct，当然我也想说linux其实也没有线程的概念, 只是将那些与其他进程共享资源的进程称之为线程。
调度器面对的情形就是这样, 其任务是在程序之间共享CPU时间, 创造并行执行的错觉, 该任务分为两个不同的部分, 其中一个涉及调度策略, 另外一个涉及上下文切换.
2、进程上限，cat /proc/sys/kernel/pid_max 3、进程的五种状态
当程序运行的时候会由父进程通过fock创建子进程来处理任务；子进程被创建后开始处理任务，当任务处理完毕后就会退出，然后子进程会通知父进程来回收资源；如果子进程处理任务期间，父进程意外终止了，那么这个子进程就变成了僵尸进程。
某月黑风高之夜，某打车平台上线了一大波（G+）优惠活动，众人纷纷下单。于是乎，该打车平台使用的智能提示服务扛不住直接趴窝了（如下图）。事后，负责智能提示服务开发和运维的有关部门开会后决定：必须对智能提示服务进行一次全面深入的性能摸底，立刻！现在！马上！ 那么一大坨问题就迎面而来：对于智能提示这样的后台服务，性能测试过程中应该关心那些指标？这些指标代表什么含义？这些指标的通过标准是什么？下面将为您一一解答。 概述 不同人群关注的性能指标各有侧重。后台服务接口的调用者一般只关心吞吐量、响应时间等外部指标。
大家好，我是一个进程，我的名字的小 P。 我和很多其它小伙伴一样，都由老大操作系统创建和管理。
通过这三篇文章的学习我们知道，无论内核进程还是用户进程，都是可以用task_struct来描述的，那么本篇我们实践下如何通过task_struct字段把系统中所有的进程包含的信息打印出来，比如：属性信息，状态，进程标识符，优先级信息，亲属关系，文件系统信息，内存方面的信息等。
父子进程的调度由操作系统来负责，具体先调度子进程还是父进程由系统的调度算法决定，当然可以在父进程加上延时或是调用进程回收函数 pcntl_wait 可以先让子进程先运行，进程回收的目的是释放进程创建时占用的内存空间，防止变成僵尸进程。
Linux内核的软中断("softirq")机制有些奇怪，在早期的Linux和处理机制下比较晦涩，且仅有极少的内核开发人员会直接接触软中断。然而它是内核的大多数重要处理的核心。在某些场景下，软中断会以一种不合时宜的方式出现。特别是内核的实时抢占补丁集经常会与软中断产生冲突，该补丁集的最新版本提供了一种解决产生软中断问题的方法，值得一看。
原文链接：https://blog.csdn.net/dog250/article/details/46666029
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
