在上篇文章 每个后端都应该了解的OpenResty入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
在上篇文章 每个后端都应该了解的 OpenResty 入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发 数 量都要受到系统对用户单一进程同时可打开文件数量的 限制(这是因为系统为每个TCP连接都要创 建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当 前用户进程打开的文件数限制： [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同 时打开1024个文件，这1024个文件中还得除去每个进
讲解 如何查看负载 和 并发之前，简单与各位聊几句，这不发现后来群内活跃度有所降低呀。是不是社群没小姐姐都不能吸引各位英雄好汉了，哈哈哈。
系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell 进程及其子进程的资源使用设置限制。
在确定最大连接数之前，先来看看系统如何标识一个tcp连接。系统用一个4四元组来唯一标识一个TCP连接：{local ip, local port,remote ip,remote port}。
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
进程和线程究竟是什么东西？传统网络服务模型是如何工作的？协程和线程的关系和区别有哪些？IO过程在什么时间发生？ 在刚刚结束的 PyCon2014 上海站，来自七牛云存储的 Python 高级工程师许智翔带来了关于 Python 的分享《Python中的进程、线程、协程、同步、异步、回调》。 一、上下文切换技术 简述 在进一步之前，让我们先回顾一下各种上下文切换技术。 不过首先说明一点术语。当我们说“上下文”的时候，指的是程序在执行中的一个状态。通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪
Java线程与Linux内核线程的映射关系Linux从内核2.6开始使用NPTL （Native POSIX Thread Library）支持，但这时线程本质上还轻量级进程。
系统负载能力浅析 互联网时代，高并发是一个老生常谈的话题。无论对于一个web站点还是app应用，高峰时能承载的并发请求都是衡量一个系统性能的关键标志。像阿里双十一顶住了上亿的峰值请求、订单也确实体现了阿里的技术水平（当然有钱也是一个原因）。 那么，何为系统负载能力？怎么衡量？相关因素有哪些？又如何优化呢？ 一. 衡量指标 用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxCon
所以我们会比较好了解CPU密集型，需要大量计算资源，会非常消耗cpu，I/O密集型需要等待I/O,会有大量的不可中断进程，
IBM有个家伙做了个测试，发现切换线程context的时候，windows比linux快一倍多。进出最快的锁（windows2k的 critical section和linux的pthread_mutex），windows比linux的要快五倍左右。当然这并不是说linux不好，而且在经过实际编程之后，综合来看我觉得linux更适合做high performance server，不过在多线程这个具体的领域内，linux还是稍逊windows一点。这应该是情有可原的，毕竟unix家族都是从多进程过来的，而 windows从头就是多线程的。
前些天一个Nginx+PHP项目上线后遭遇了性能问题，于是打算练练手，因为代码并不是我亲自写的，所以决定从系统层面入手看看能否做一些粗线条的优化。
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
本实验是要求在linux环境下测试fork()和exec()，并建立一个简单的shell（带cd、env、echo、help、jobs、quit命令）
[root@localhost ~]# vmstat -n 3 (每个3秒刷新一次） procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu---- r b swpd free buff cache si so bi bo in cs us sy id wa 1 0 144 186164 105252 2386848 0 0 18 166 83 2 48 21 31 0 2 0 144 189620 105252 2386848 0 0 0 177 1039 1210 34 10 56 0 0 0 144 214324 105252 2386848 0 0 0 10 1071 670 32 5 63 0 0 0 144 202212 105252 2386848 0 0 0 189 1035 558 20 3 77 0 2 0 144 158772 105252 2386848 0 0 0 203 1065 2832 70 14 15 0
服务器性能测试是一项非常重要而且必要的工作，本文是作者Micheal在对服务器进行性能测试的过程中不断摸索出来的一些实用策略，通过定位问题，分析原因以及解决问题，实现对服务器进行更有针对性的优化，提升服务器的性能。
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际中如果下面两种情况，我就会认为它是bigkey。
来源：https://www.cnblogs.com/txlsz/p/13683892.html
业务价值->承载高并发->性能优化。 一切的前提是业务价值需要。如果没有足够价值，那可读性才是第一，性能在需要的地方是no.1，但不需要的地方可能就是倒数第一。当下技术框架出来的软件差不到哪去，没有这种及时响应诉求的地方，削峰下慢慢跑就是了。（但工作中常需要在缺少价值的地方着手性能优化。异步，并发编程，逻辑缓存，算法真的会加剧系统的复杂度，得不偿失。如果没那个价值，简单才是王道）。
一. 衡量指标 用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxConnection为无限大，但是受限于服务器系统或者硬件限制，很多请求是不会在一定的时间内得到响应的，这并不作为一个成功的请求，其中成功得到响应的请求数即为每秒请求数，反应出系统的负载能力。 通常的，对于一个系统，增加并发用户数量时每秒请求数量也会增加。然而，我们最终会达到这样一个点，此时并发用户数量开始“压倒
第一个是在AmS中进行，即Android所声称的当系统内存低时，优先释放没有任何Activity的进程，然后释放非前台Activity对应的进程。
1. Requests per second（RPS）：Nginx 每秒处理的请求数（也就是 QPS）。
windows下全然限定文件名称必须少于260个字符，文件夹名必须小于248个字符。
Linux 内核源码 linux-5.6.18\kernel\sched\sched.h 中 , 定义的 struct sched_class 调度类结构体 , 就是 " 调度器 " 对应的类 ;
如非必须，关掉或卸载iptables防火墙，并阻止kernel加载iptables模块。这些模块会影响并发性能。
目前市场上的虚拟化技术种类很多，例如moby(docker)、LXC、RKT等等。在带来方便应用部署和资源充分利用的好处的同时，如何监控相应Container及其内部应用进程成为运维人员不可避免遇到的新情况。UAV.Container从虚拟化技术的基础原理和Linux操作系统的内核特性出发，得到Container容器和内部进程的各维度监控数据，使无论是虚拟机或物理机运维人员，还是业务运维人员角度，都能得到合适的监控维度。
基本介绍 Linux的进程调度器是内核中最重要的核心组件，它决定了一个进程合适获取CPU的时间以及占用CPU的时间。最佳情况下每个进程需要CPU执行指令的时间，如果需要保证进程之间的如何合理的分配CPU的指令执行时,进程的调度器需要具备如下的特性. 📷 Linux进程调度器采用类似于vfs的设计采用简单的两层结构模式，第一层是通用调度器，定义作为进程调度器的入口抽象层；第二层是调度器的具体实现，根据调度策略实现进程的调度的器的具体实现。第一层的使用了struct sched_class来描；第二层是具体的具
pm、pm.max_children、pm.start_servers、pm.min_spare_servers、pm.max_spare_servers。
首先要实现多任务，我们需要设计Master-Worker模式，Master负责分配任务，Worker负责执行任务。因此，多任务环境下，通常是一个Master，多个Wroker。
以下测试都是在没有优化或修改内核的前提下测试的结果 1. 测试目的：ext3文件系统下filename最大字符长度 测试平台：RHEL5U3_x64 测试过程： LENTH=`for i in {1..255};do for x in a;do echo -n $x;done;done` touch $LENTH 当增加到256时，touch报错，File name too long linux系统下ext3文件系统内给文件/目录命名，最长只能支持127个中文字符，英文则可以支持255个字符 2. 测试目的：ext3文件系统下一级子目录的个数限制 测试平台：RHEL5U3_x64 测试过程： [root@fileserver maxdir]# for i in {1..32000};do mkdir $i;done mkdir: cannot create directory `31999': Too many links mkdir: cannot create directory `32000': Too many links ext3文件系统一级子目录的个数为31998(个)。 Linux为了cpu的搜索效率而规定的,要想改变数目大概要重新编译内核. 3. 测试目的：ext3文件系统下单个目录里的最大文件数 测试平台: RHEL5U3_x64 测试过程： 单个目录下的最大文件数似乎没什么特别限制，也是受限于所在文件系统的inode数限制： df -i或者使用tune2fs -l /dev/sdaX或者dumpe2fs -h /dev/sdaX查看可用inode数，后两个命令 输出结果是一样的，但是跟df所得出的可用inode数会有些误差，至今不明白什么原因。 网上常用两种解决办法： 1） 重新mkfs，ext3默认block大小4096 Bytes，block设置小一些inode数设置大一些 2） 使用loopback文件系统临时解决： 在/usr中（也可以在别处）创建一个大文件，然后做成loopback文件系统，将原来的文件移到这个 文件系统中，并将它mount到/usr下合适的位置。这样可以大大减少你/usr中的文件数目。但是系统 性能会有点损失。 4. 测试目的： 打开文件数限制（文件句柄、文件描述符） 测试平台： RHEL5U3_x64 ulimit -n 65535设置，或者/etc/security/limit.conf里设置用户打开文件数、进程数、CPU等
面试指南系列，很多情况下不会去深挖细节，是小六六以被面试者的角色去回顾知识的一种方式，所以我默认大部分的东西，作为面试官的你，肯定是懂的。
多进程和多线程主要区别是：线程是进程的子集，一个进程可能由多个线程组成。多进程的数据是分开的、共享复杂，需要用IPC，但同步简单；多线程共享进程数据、共享简单，但同步复杂。
很多事情说起来容易，做起来却很难，开始的时候就已经经历了各种选择，而开始才是一个真正开始。
现如今，一个服务端应用程序几乎都会使用到多线程来提升服务性能，而目前服务端还是以linux系统为主。一个多线程的java应用，不管使用了什么样的同步机制，最终都要用JVM执行同步处理，而JVM本身也是linux上的一个进程，那么java应用的线程同步机制，可以说是对操作系统层面的同步机制的上层封装。这里我说的操作系统，主要是的非实时抢占式内核（non-PREEMPT_RT），并不讨论实时抢占式内核（PREEMPT_RT） 的问题，二者由于使用场景不同，因此同步机制也会存在差异或出现变化。
在上一节我们了解了CFS的设计原理，包括CFS的引入，CFS是如何实现公平，CFS工作原理的。本小节我们重点在分析CFS调度器中涉及到的一些常见的数据结构，对这些数据结构做一个简单的概括，梳理各个数据结构之间的关系图出来。
目前我们网络所面临的依然是高并发的问题，就像某cat双11时的情况，瞬间的并发量是惊人的，当然我们会有很多种方法去解决这个问题，本文我们谈论的是单台服务器，如何提高自己对并发请求的处理能力。要想解决这个问题，我们需要先理清楚Unix和类Unix系统的I/O模型。
进程是程序执行时的一个实例，即它是程序已经执行到课中程度的数据结构的汇集。从内核的观点看，进程的目的就是担当分配系统资源（CPU时间、内存等）的基本单位。
我一看这个表，这不就是经典的 socket 四元组嘛。我只有一块网卡，其 IP 地址是 123.126.45.68，我想要与 110.242.68.3 的 80 端口建立一个 TCP 连接，我将这些信息填写在了表中。
读者群里一位同学的线上服务器出现一个诡异的问题，执行任何命令都是报错“fork:无法分配内存”。这个问题最近出现的，前几次重启后解决的，但是每隔 2-3 天就会出现一次。
本文是根据有赞中间件团队多年的TCP网络编程实践经验总结而来，目的是为了避免应用因各种网络异常而出现各种非预期行为，从而造成非预期的影响，影响系统稳定性与可靠性。
来源 | https://juejin.cn/post/6948034657321484318
操作系统的处理器资源主要是介绍了，由于多道程序设计带来的并发性，内存中运行多个进程并发运行。而处理器资源是远远小于进程的数量的，所以如何调度处理器给合适的进程成为了OS的焦点。
一般 Unix 系统中，用户态的程序通过malloc()调用申请内存。如果返回值是 NULL， 说明此时操作系统没有空闲内存。这种情况下，用户程序可以选择直接退出并打印异常信息或尝试进行 GC 回收内存。然而 Linux 系统总会先满足用户程序malloc请求，并分配一片虚拟内存地址。只有在程序第一次touch到这片内存时，操作系统才会分配物理内存给进程。具体我们可以看下如下demo:
一般来说，在操作系统中会运行多个进程（几个到几千个不等），但一台计算机的 CPU 资源是有限的，如 8 核的 CPU 只能同时运行 8 个进程。那么当进程数大于 CPU 核心数时，操作系统是如何同时运行这些进程的呢？
扯淡 首先说明这篇博客是文不对题的。起这个名字想法来源自韩寒的《我所理解的生活》，之前看过一个关于这本书的视频，感觉巨牛X，于是就想写一篇《我所理解的性能测试》。虽然是文不对题的，但我就是想用这个名字，在这个残忍的社会，给自己博客文章起个名字这点权利还是有的。 下面我要贴出来的是zee大神的《性能测试面试问题列表》中列出来的性能测试与操作系统方面问题与我自己整理的回答。回答的不一定对，也懒得去改了。就用这些问题与回答来记录我这段时间的努力，来记录我所理解的性能测试吧。 性能测试 1.如何理解TPS 性能指
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
