背景 参考了狂神老师的 Docker 教程，非常棒！ https://www.bilibili.com/video/BV1og4y1q7M4?p=16 es 前言 es 暴露的端口很多 es 十分耗内
r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
有一个生产系统的Redis实例内存使用超限引发报警，需要查看各个key所使用的内存分布情况，以便采取进一步的措施。
Magic SysRq 组合键是一串能直接与 Linux 内核沟通的组合键，允许使用者就算在系统进入死循环濒临崩溃时，直接呼叫系统底层将数据写入档案系统或重新开机，避免尚未写入档案系统与硬盘的数据在开机后消失。在 Linux 系统中，推荐尽量使用 Magic SysRq 组合键而不是直接硬关机。
命令：ps -mp pid -o THREAD,tid,time 或者 ps -Lfp pid
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。
大页内存(HugePages)，有时也叫“大内存页”、“内存大页”、“标准大页”。操作系统以内存页为单位管理内存，内存页的大小对系统性能有影响。内存页设得太小，内存页会很多，管理内存页的数组会比较大，耗内存，同时TLB(Translation Lookaside Buffer，页表寄存缓冲器，可理解为页表缓冲)大小是固定的，导致TLB MISS增加。在不同的应用场合，内存页的大小的最优值是不同的。所以一般的系统都支持多种内存页的取值。
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时，会发现内存使用一直处于较高的水平，即使此时系统并没有运行多少软件。
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时，会发现内存使用一直处于较高的水平，即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别，乍一看，Linux系统吃掉我们的内存（Linux ate my ram），但其实这也正是其内存管理的特点。
nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具，相对于其它一些系统资源监控工具来说，nmon所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且能输出结果到文件中，然后通过nmon_analyzer工具产生数据文件与图形化结果。 nmon所记录的数据包含以下一些方面： ● cpu占用率 ● 内存使用情况 ● 磁盘I/O速度、传输和读写比率 ● 文件系统的使用率 ● 网络I/O速度、传输和读写比率、错误统计率与传输包的大小 ● 消耗资源最多的进程 ● 计算机详细信息和资源 ● 页面空间和页面I/O速度 ● 用户自定义的磁盘组 ● 网络文件系统
一、通常服务器的性能会卡在三个地方： cpu 网络IO 磁盘IO 二、在优化性能的时候，首先要判断性能的瓶颈在上述的哪个地方。然后对症下药，按照下面的方法来优化： 1、提高CPU性能的方法 并发。利用多线程、进程。老的线程库效率太低，需要升级用nptl 。进（线）程数不要大于cpu个数 （请参考：http://www.ibm.com/developerworks/cn/linux/l-threading.html） 谨慎用锁。改善架构，尽量不用锁。 慎用字符串操作，比如sprintf,snprintf，因为
我们在cpu篇就提到，iowait高一般代表硬盘到瓶颈了。wait的意思，就是等，就像等正在化妆的女朋友，总是带着一丝焦躁。本篇是《荒岛余生》系列第四篇，I/O篇，计算机中最慢的那一环。其余参见：
背景描述 某项目结构图如下(前端交互式体验及对象存储为主，Redis 及 rds 负载较小没有画出)： web1 和 web2 是两个 Apache，publisher1 和 publisher2 是
最近发现知识付费泛滥成灾，很多人买了很多课程，但是真正能看完的没有几个课程，比如大数据从业人员，工具还没用熟，就去学习数据结构，机器学习等，不是瞧不起你的学习能力，人的精力有限，而且成长也要稳扎稳打，大数据都是培训入门的，没有两三年的积累，根本就是一坨屎，还想着贪多，最后肯定是一塌糊涂，不要只着眼于眼前。
https://gitee.com/yaukie/x-smart-kettle-server
Linux Cgroups（Linux Control Group）是 Linux 内核中用来为进程设置资源限制的一个功能。它最主要的作用就是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等。此外，Cgroups 还能够对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。
这段代码非常简单，就是先用mmap的方式，为该进程分配10GiB的虚拟内存，然后再用page写的方式，让操作系统为这10GiB虚拟内存，分配对应的物理内存，最后sleep，等待我们测试。
结合上面的异常信息，我们可以知道dispatcher的默认配置值为all（AllChannelHandler来处理消息请求），因为测试环境上部署了好几个应用，如果每个应用都占用了500个线程，那Linux机器中默认配置的线程数是不够用的，所以就导致java.lang.OutOfMemoryError: unable to create new native thread
文章目录 大数据服务器之CM安装架构及目录 大数据服务器之CDH框架安装细节 大数据服务器之CM安装架构及目录 针对整个物流项目来说，1台虚拟机安装部署大数据环境：基于CM6.2.1安装CDH6.2.1。 关于CM功能及CM安装，不再过多赘述，项目还是要注重于业务及数据和实现。 提供虚拟机【node2.itcast.cn】解压后，导入VMWare 软件中，启动虚拟机即可（选择我已移动该虚拟机） 1）、启动之前，设置node2.itcast.cn内存：4GB或者6GB或者8GB即可 2）
ps命令能给出当前系统中进程的快照。下面我们列举几个常用的选项 使用 -a 参数。-a 代表 all。同时加上x参数会显示没有控制终端的进程。 ps -ax 通过我们会查找某类或包含某些指定关键字的进程，这是会使用管道结合grep命令来进一步过滤结果。 例如查找java相关的进程ps -ax | grep java 有时我们则需要根据CPU和内存的使用情况来过滤排序筛选结果，这样便于快速找到哪个进程最耗CPU、内存 ps -aux 根据CPU的使用升序排序 ps -aux --sort -pcpu 根据内存使用升序排序 ps -aux --sort -pmem 上述两个命令合并一起，如下： ps -aux --sort -pcpu,+pmem 只显示前几个进程，例如显示前十个，需要使用管道结合head命令。 ps -aux | head -n 10
我们通常说进程是动态的活动实体，这是很形象的，进程就像一个人一样，它会有很多种运行状态，一会儿睡眠、一会儿暂停、一会儿又继续执行运行。而且，他还会死掉变僵尸！
描述下情况: 新加入一台机器到k8s中，由于这台机器运行内存有16g，所以我们要给它打个label，让内存耗的高的调度到这台，使用如下List-1命令:
收到同事反馈，说后台服务出现异常，定位后发现是应用连接elasticsearch server失败，于是用eshead去连接，还是失败；
4、选择安装的系统类型，系统为32位的就选32位的（redhat enterprise linux 7），系统为64位的就安装64位的
上线新功能后，要多观察。如果出现不稳定性的情况，需要高优先级查清原因，避免出现更大的问题。
平时在开发学习中，经常会接触到Linux系统，需要在Linux系统中搭建环境，但我们总不能把自己的电脑重装为Linux，或者买一台服务器来学习，这样的代价是很昂贵的，我们可以在windows系统下使用虚拟机，不过启动虚拟机是比较耗内存的，但好在win10下包含了Linux子系统，我们可以不用安装VMware或者VirtualBox，就可以在win10下跑Linux了，不过，目前支持Ubuntu，Centos我还不清楚。
以前的电脑上安装过vmware+redhat，但是奈何电脑太老，配置太低，打开的时候超级卡，没法用。换了电脑后，再装上玩玩，故此记录一下安装过程。需要安装的小伙伴可以在此获取包然后按此步骤安装。
加上-H这个选项启动top，top一行显示一个线程（指的是（轻量级）进程？ ）。否则，它一行显示一个进程。
原文链接:https://rumenz.com/rumenbiji/linux-cpu-100.html
性能调优是找出系统瓶颈并消除这些瓶颈的过程。 很多系统管理员认为性能调优仅仅是调整一下内核的参数即可解决问题， 事实上情况并不是这样。 性能调优是实现操作系统的各个子系统之间的平衡性，这些子系统包括：
网站禁止图片盗链，此文适用于Ubuntu Linux系统。首先需要确定服务器httpd的工作模式呢，可通过执行 apachect2 -l 来查看：
CPU 过高、Full GC次数过多、内存使用过多、硬盘空间不足等问题，都会带来系统突然运行缓慢的问题，也是面试特别容易被问到的，下面针对系统运行缓慢等问题进行展开。
点击关注公众号，Java干货及时送达 来源：siye1982.github.io/2016/02/25/linux-list/ 虽然平时大部分工作都是和Java相关的开发, 但是每天都会接触Linux系统, 尤其是使用了Mac之后, 每天都是工作在黑色背景的命令行环境中. 自己记忆力不好, 很多有用的Linux命令不能很好的记忆, 现在逐渐总结一下, 以便后续查看. 基本操作 Linux关机,重启 # 关机 shutdown -h now # 重启 shutdown -r now 查看系统,CPU信息
自从上次修改backlog之后, Silly的IO能力，就一直以少量（约4~6K)的差距落后于redis，却一直找不到原因。
SockStress攻击正好与Syn-Flood攻击原理相悖，它正是利用建立TCP/IP三次握手连接来实现拒绝服务攻击，而且与Syn-Flood不同它并非通过耗尽服务器的TCP连接数来让正常用户的正常请求无法响应，而是直接耗尽服务端的内存、CPU等资源让受害者宕机，属于非对称的资源消耗攻击，这种攻击方式的危害性极大，而且一旦遭受分布式攻击是几乎不能被抵御的。
在调用cusp::io::read_matrix_market_file和cusp::convert函数对dia或ell格式的稀疏矩阵进行操作的时候，都可能会出现这个问题。
user：该文件的拥有者对文件的操作权限 group：跟拥有者同组的其他用户对该文件的操作权限 other：其他用户对该文件的操作权限
%us：表示用户空间程序的cpu使用率（没有通过nice调度） %sy：表示系统空间的cpu使用率，主要是内核程序。 %ni：表示用户空间且通过nice调度过的程序的cpu使用率。 %id：空闲cpu %wa：cpu运行时在等待io的时间 %hi：cpu处理硬中断的数量 %si：cpu处理软中断的数量 %st：被虚拟机偷走的cpu 注：99.0 id，表示空闲CPU，即CPU未使用率，100%-99.0%=1%，即系统的cpu使用率为1%。
电流通过导体时，会在导体的周围会产生感应磁场。感应磁场的磁极随电流方向的改变而改变。
来源 | siye1982.github.io/2016/02/25/linux-list/
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
