在linux系统环境的测试开发过程中，我们常常需要评估系统性能，尤其在性能测试工作中，我们需要通过系统资源的监控，从而分析定位系统的性能瓶颈。
我在多年的工程生涯中发现很多工程师碰到一个共性的问题：Linux工程师很多，甚至有很多有多年工作经验，但是对一些关键概念的理解非常模糊，比如不理解CPU、内存资源等的真正分布，具体的工作机制，这使得他们对很多问题的分析都摸不到方向。比如进程的调度延时是多少？Linux能否硬实时？多核下多线程如何执行？系统的内存究竟耗到哪里去了？我写的应用程序究竟耗了多少内存？什么是内存泄漏，如何判定内存是否真的泄漏？CPU速度、内存大小和系统性能的关联究竟是什么？内存和I/O存在着怎样的千丝万缕的联系？
扯淡 首先说明这篇博客是文不对题的。起这个名字想法来源自韩寒的《我所理解的生活》，之前看过一个关于这本书的视频，感觉巨牛X，于是就想写一篇《我所理解的性能测试》。虽然是文不对题的，但我就是想用这个名字，在这个残忍的社会，给自己博客文章起个名字这点权利还是有的。 下面我要贴出来的是zee大神的《性能测试面试问题列表》中列出来的性能测试与操作系统方面问题与我自己整理的回答。回答的不一定对，也懒得去改了。就用这些问题与回答来记录我这段时间的努力，来记录我所理解的性能测试吧。 性能测试 1.如何理解TPS 性能指
在Linux系统中，内存管理是一个至关重要的环节。为了更好地监控和管理系统内存，Linux提供了多种工具和命令。其中，lsmem命令就是一个非常有用的工具，它可以显示系统的内存布局和大小。本文将详细介绍lsmem命令的用途、工作原理、主要特点、实际应用示例以及使用时的注意事项和最佳实践。
在 Linux 系统（比如 CentOS/RadHat、Debian/Ubuntu）上配置 lnmp环境，通过探针查看物理内存使用率：
linux内存管理卷帙浩繁，本文只能层层递进地带你领略冰山轮廓，通过本文你将了解到以下内容：
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
系统负载：在Linux系统中表示，一段时间内正在执行进程数和CPU运行队列中就绪等待进程数，以及非常重要的休眠但不可中断的进程数的平均值（具体load值的计算方式，有兴趣可以自行深究，这里不深究）。说白了就是，系统负载与R(Linux系统之进程状态)和D(Linux系统之进程状态)状态的进程有关，这两个状态的进程越多，负载越高。
导语 | 当你登陆一台Linux服务器之后，因为一个问题要做性能分析时，你会在第1分钟内做哪些检测呢？本文将详细为你介绍在最开始的60秒，如何在命令行模式下，使用已有的Linux标准工具来进行性能优化检测。 （本文译自Linux文献：Linux Performance Analysis in 60,000 Milliseconds. 原文：https://netflixtechblog.com/linux-performance-analysis-in-60-000-milliseconds-accc
当我们系统有问题的时候，不要急于去调查我们代码 首先要看的是操作系统的报告，看看操作系统的CPU利用率，看看内存使用率，看看操作系统的IO，还有网络的IO，网络链接数，等等 Windows下的perfmon是一个很不错的工具，Linux下也有很多相关的命令和工具，比如：SystemTap，LatencyTOP，vmstat，sar，iostat，top，tcpdump等等 通过观察这些数据，就可以知道性能问题基本上出在哪里 （1）先看CPU利用率，如果CPU利用率不高，但是系统的吞吐量和系统延迟指标上不去，
CPU 利用率，又称 CPU 使用率。顾名思义，CPU 利用率用于描述 CPU 的运行情况，反映了一段时间内 CPU 被程序占用的情况。使用率越高，表示计算机在该时间段内运行了更多的程序，反之则较少。CPU 的利用率与其性能直接相关。
本文中若有任何疏漏错误，有任何建议和意见，请回复内核月谈微信公众号，或通过 oliver.yang at linux.alibaba.com 反馈。
http://www.brendangregg.com/blog/2017-05-09/cpu-utilization-is-wrong.html
（ps：对于如何在Intel CPU，ARM架构CPU，以及Jetson TensorRT上部署深度学习模型，以及部署遇到的速度问题，该如何解决。请查看我的另外一篇文章。如何定制化编译Pytorch，TensorFlow，使得CNN模型在CPU，GPU，ARM架构和X86架构，都能快速运行，需要对每一个平台，有针对性的调整。如何做到最大化加速深度学习在不同平台部署性能。请看我的这篇文章。）
Linux长时间使用会导致cache缓存占用过大，甚至拖累CPU的使用率，可以通过命令手动释放Linux内存，详细教程如下：
当前，各大公司都存在着线下集群利用率不高的问题，且在尝试进行多业务类型的混合部署后，还可能会遇到各种稳定性和业务质量方面的挑战。因此，贝联珠贯在大数据领域针对万台规模的集群展开了研究，并成功落地了一种基于增强型 RunC 的新方案，在第一阶段的 4 个月里，成功地帮助客户提升了资源利用率，年度降本超过千万人民币，同时业务使用体验并未受到影响。在今年 9 月份的 QCon 全球软件开发大会（北京站），贝联珠贯 (www.lccomputing.com) 合伙人王元良老师以《增强型 RunC 的最佳实践：克服离线高压力混部场景的关键挑战》为题，分享了实际落地经验。本文由贝联珠贯公众号（ID：Lccomputing）整理节选自此次演讲。 完整幻灯片下载地址： https://qcon.infoq.cn/202309/beijing/presentation/5440
Redis是目前广为人知的一个内存数据库，在各个场景中都有着非常丰富的应用，前段时间Redis推出了6.0的版本，在新版本中采用了多线程模型。
来源 | https://juejin.cn/post/6948034657321484318
熊军（老熊） 云和恩墨西区总经理 Oracle ACED，ACOUG核心会员 PC Server发展到今天，在性能方面有着长足的进步。64位的CPU在数年前都已经进入到寻常的家用PC之中，更别说是更高端的PC Server；在Intel和AMD两大处理器巨头的努力下，x86 CPU在处理能力上不断提升；同时随着制造工艺的发展，在PC Server上能够安装的内存容量也越来越大，现在随处可见数十G内存的PC Server。正是硬件的发展，使得PC Server的处理能力越来越强大，性能越来越高。而在稳定性
内存是计算机中与CPU进行沟通的桥梁，用于暂时存放CPU中的运算数据。Linux 内核的内存管理机制设计得非常精妙，对于 Linux 内核的性能有很大影响。在早期的 Unix 系统中，fork 启动新进程时，由于从父进程往子进程复制内存信息需要消耗一定的时间，因此启动多个进程时存在性能瓶颈。现在的 Linux 内核则通过“写时复制（copy-on-write）”等机制提高了创建进程的效率；也正是因为这个原因，关于 Linux 内存分配、计算、空闲判断有一些特别的地方需要注意。
线程的使用目的是提高运行速度，提高运行的速度是要充分提用CPU和I/O 的利用率。
CPU 并非 90% 的时间都在忙着，很大一部分时间在等待，或者说“停顿(Stalled)”了。这种情况表示处理器流水线停顿，一般由资源竞争、数据依赖等原因造成。多数情况下表现为等待访存操作，其中又以读操作为主。在停顿周期内，不能执行指令，这意味着你的程序不往前走。值得注意的是，图中 “Stalled” 状态所占的比例是作者依据生产环境中的典型场景计算而来，具有普遍现实意义。因此，大多时候 CPU 处于停顿状态，而你却不知道，因为 CPU 利用率这个指标没有告诉你真相。通过进一步分析 CPU 停顿的原因，可以指导代码优化，提高执行效率，这是我们深入理解CPU微架构的动力之一。
在我的文章《使用开源工具识别 Linux 性能瓶颈》中，我解释了一些使用开源的图形用户界面（GUI）工具监测 Linux 性能的简单方法。我的重点是识别 性能瓶颈，即硬件资源达到极限并阻碍你的 PC 性能的情况。
Linux 提供了各种工具，用于报告和检查 CPU、RAM、存储和网络的操作。本文演示了其中许多实用程序的工作原理。
前言： 朋友遇到了load average偏高的问题，关于load average的解释，网上也是五花八门，有的说法甚至都有些不负责任。在这里详细分析一下load average。 分析： 1，l
摘要：本文主要讲述了在Rackspace上利用不到45分钟的时间在一个由30个4GB内存的云服务器组成的集群上部署10,000个Nginx 容器。具体步骤：在Nginx 集群构建应用程序模板；在Rackspace云上部署基础设施等等。 虽然应用程序的可移植性（即能够在任何一个主机上运行相同的应用程序）仍是采用Linux容器的主要动力，但优化服务器的利用率这另一个关键的优势能够使得你仅占用计算机的很少部分的计算。当然，对于像PROD这种生产环境（正式环境），你可能还是倾向于分配足够的CPU和内存来满足工作所需
通过获取Linux中的 /proc/stat 文件中的内容可以获取系统内存的详细信息：
脚本 #!/bin/sh ############################## ## 名称: MonitorES.sh ## 描述: 主机利用率超过阈值 判断top占用内存的进程 匹配ES
抛开一些操作系统，计算机原理不谈，说一个基本的理论（不用纠结是否严谨，只为好理解）：一个CPU核心，单位时间内只能执行一个线程的指令 ** 那么理论上，我一个线程只需要不停的执行指令，就可以跑满一个核心的利用率。
CPU密集型也叫计算密集型，指的是系统的硬盘、内存性能相对CPU要好很多，此时，系统运作大部分的状况是CPU Loading 100%，CPU要读/写I/O(硬盘/内存)，I/O在很短的时间就可以完成，而CPU还有许多运算要处理，CPU Loading很高。
目前市场上有许多开源监控工具可用于监控 Linux 系统的性能。当系统达到指定的阈值限制时，它可以发送电子邮件警报。它可以监视 CPU 利用率、内存利用率、交换利用率、磁盘空间利用率等所有内容。
抛开一些操作系统，计算机原理不谈，说一个基本的理论（不用纠结是否严谨，只为好理解）：一个CPU核心，单位时间内只能执行一个线程的指令 那么理论上，我一个线程只需要不停的执行指令，就可以跑满一个核心的利用率。
最近在研究人工智能AI模型的相关内容。需要一个稳定可靠的Linux环境来运行数据模型，但是我的电脑操作系统是windows操作系统，一开始我想使用VMware，但是它是收费的，而且安装起来也比较麻烦，后来我发现微软的Hyper-V虚拟机非常方便，关键是免费的。所以选择使用Hyper-V，在这里记录下Hyper-V虚拟机的安装和使用过程。通过分享我的经验，希望能够对其他人在使用Hyper-V虚拟机时提供帮助和指导。
抛开一些操作系统，计算机原理不谈，说一个基本的理论（不用纠结是否严谨，只为好理解）：一个CPU核心，单位时间内只能执行一个线程的指令** 那么理论上，我一个线程只需要不停的执行指令，就可以跑满一个核心的利用率。
什么是CPU时间片？我们现在所使用的Windows、Linux、Mac OS都是“多任务操作系统”，就是说他们可以“同时”运行多个程序，比如一边打开Chrome浏览器浏览网页还能一边听音乐。
top是linux程序员经常使用的分析机器运行状态的工具。但是并不是所有人都能清楚如何使用该工具对程序占用CPU资源的情况进行分析，比如图中us、sy、ni、id、wa和si等各是什么意思？高低都能说明什么问题？本文将抛砖引玉，讲解下该工具的使用。
高并发也算是这几年的热门词汇了，尤其在互联网圈，开口不聊个高并发问题，都不好意思出门。高并发有那么邪乎吗？动不动就千万并发、亿级流量，听上去的确挺吓人。但仔细想想，这么大的并发与流量不都是通过路由器来的吗？
由于Intel为代表的处理器厂商发现，处理器主频的提升受到硅材料物理特性的限制，难以突破4.0GHz的瓶颈，从而转向在处理器集成电路上集成多个处理核心，以提升处理器的计算力。为了让多个处理核心可以运行多个不同的应用程序和服务，出现了把一台物理机资源分割为多个虚拟机的虚拟化技术。
Linux 进程是操作系统中运行的程序的实例。每个进程都有自己的内存空间和执行环境，它们彼此隔离，以确保安全性和稳定性。在 Linux 中管理进程是非常重要的，下面我将详细教你如何处理 Linux 进程。
IBM Linux Technology Center (LTC) 成立于 1999 年 8 月，想让 Linux 成功的共同梦想使其与 Linux 开发团体直接合作。它的 200 多名员工使之成为开放源代码开发者的较大团队组织之一。他们提供的代码范围包括，从补丁到结构化的内核改变，从文件系统和国际化工作到 GPL'd 驱动程序。他们还致力于追踪 IBM 内部进行的 Linux 相关开发。
计算机系统由硬件系统和软件系统两大部分组成。操作系统（英语：Operating System，缩写：OS）是管理计算机硬件与软件资源的系统软件，同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。
进程调度能提高CPU利用率和计算机响应速度。为了实现这一性能，必须将多个进程保存在内存中，也就是说内存共享。
问题现象：经常远程不上，需要重启才能远程上，远程不上时查看云监控CPU或内存指标都是接近100%的利用率。
当您学会使用 eBPF 性能分析解锁详细洞察时，不可靠的数据将成为过去。了解如何细粒度且高效地监控 CPU、内存和网络数据。
现如今企业的数据查询需求在不断增多，在共享同一集群时，往往需要同时面对多个业务线或多种分析负载的并发查询。在有限的资源条件下，查询任务间的资源抢占将导致性能下降甚至集群不稳定，因此负载管理的重要性不言而喻。
在文章中，我们提到了 Linux 用来管理和限制 Linux 进程组资源使用的 CGroup 机制。本文我们就来详细介绍一下。
训练深度学习模型，尤其是大型模型，可能是一项昂贵的支出。我们可以使用的管理这些成本的主要方法之一是性能优化。性能优化是一个迭代过程，我们不断寻找提高应用程序性能的机会，然后利用这些机会。在之前的文章中（例如此处），我们强调了拥有适当工具来进行此分析的重要性。工具的选择可能取决于许多因素，包括训练加速器的类型（例如 GPU、HPU 或其他）和训练框架。
内存量，缓存大小，读取和写入磁盘的速度以及处理能力的速度和可用性都是影响基础架构性能的关键因素。在本教程中，我们将重点介绍CPU监控概念以及警报策略。我们将介绍如何使用两个常见的Linux实用程序，uptime命令和top命令了解CPU负载和利用率，以及如何设置腾讯云警报策略以通知您有关CVM CPU的高负载情况。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
