写在前面 和小伙伴分享一些Linux IO优化的笔记,内容很浅,可以用作入门 博文内容结合《Linux性能优化》读书笔记整理 涉及内容包括 使用vmstat 统计系统内磁盘分区I/O的性能 使用iostat...使用lsof 确定哪些进程正在使用一组给定的文件,从而确认进行磁盘IO的进程 食用方式: 需要了解Linux基础,存储相关知识 理解不足小伙伴帮忙指正 「 总感觉当下的生活不是想要的,总感觉一路走下去会是一个讨厌的未来....liruilongs.github.io]-[/] └─$which vmstat /usr/bin/vmstat vmstat超过其他I/O工具的主要优势是:几乎所有的Linux发行版本都包含该工具...]-[/] └─$iostat Linux 3.10.0-693.el7.x86_64 (vms81.liruilongs.github.io) 06/14/22 _x86_...┌──[root@vms81.liruilongs.github.io]-[/] └─$sar -d 1 3 Linux 3.10.0-693.el7.x86_64 (vms81.liruilongs.github.io
vmstat,iostat,sa IO , 输入输出 IOPS 10k , 120-150 IOPS 15k , 150-200 IOPS...每个IO完成的数据量 # vmstat 2 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu...avgrq-sz avgqu-sz await svctm %util 399.05 1.10 3.23 2.47 84.55 r/s 每秒钟完成了多少个读IO...w/s 每秒钟完成了多少个写IO avgrq-sz 平均每秒钟完成多少扇区数据的传输(读+写) avgqu-sz IO的平均队列长度 await IO请求在队列中等待的时间...有些时候发现超过100,这是四舍五入导致 思考:sda6设备平均 读IOPS, 写IOPS ,每个IO读取多少数据, 每个IO写入多少数据 每个IO写入多少数据= wkB/s /
写在前面 博文内容为《性能之巅 系统、企业与云可观测性(第2版)》CPU 章节课后习题答案整理,这是CPU 调优的最后两篇之一,之后还会整理一篇CPU性能故障的场景分析的博文 内容涉及: CPU 术语...┌──[root@liruilongs.github.io]-[~] └─$ mpstat -P ALL 5 Linux 5.4.266-1.el7.elrepo.x86_64 (vms100.liruilongs.github.io...负载情况,%util 设备使用率趋于饱和 ┌──[root@vms100.liruilongs.github.io]-[~] └─$iostat -dk -x 5 Linux 5.4.266-1.el7...查看CPU 相关信息,可以看到 使用率大的部分在内核态(%sys) ┌──[root@vms100.liruilongs.github.io]-[~] └─$mpstat 5 Linux 5.4.266...┌──[root@liruilongs.github.io]-[~] └─$ mpstat -P ALL Linux 3.10.0-1160.71.1.el7.x86_64 (liruilongs.github.io
概要: linux系统默认open files数目为1024, 有时应用程序会报Too many open files的错误,是因为open files 数目不够。
65536 指定内核中消息队列中消息的最大值(msgmax=64k) kernel.shmmax = 68719476736 是核心参数中最重要的参数之一,用于定义单个共享内存段的最大值,64 位 linux...Linux 共享内存页大小为 4KB,共享内存段的大小都是共享内存页大小的整数倍。
为了让系统能够支持更大的并发,除了必须安装event扩展之外,优化linux内核也是重中之重,以下优化每一项都非常非常重要,请务必按逐一完成。...Linux从4.12内核开始移除了 tcp_tw_recycle 配置,如果报错"No such file or directory"请忽略net.ipv4.tcp_tw_recycle = 0#系统所有进程一共可以打开的文件数量...Soft open files 是Linux系统参数,影响系统单个进程能够打开最大的文件句柄数量,这个值会影响到长连接应用如聊天中单个进程能够维持的用户连接数, 运行ulimit -n能看到这个参数值,
写在前面 博文涉及跨主机网络IO认知以及本机网络IO分析 没有调优相关的Demo 理解不足小伙伴帮忙指正 :),生活加油 每个人都想成为生活中的重要的人物。...分析 在本机网络IO中: 首先明确一个核心结论:所有本机网络IO都不会经过物理网卡,而是通过Linux内核的回环设备(lo接口)完成。...dhcp metric 100 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown main 表是 Linux...Docker 容器的 IP 通常在这个网段内,如 172.17.0.2、172.17.0.3); dev docker0:访问容器时,通过 Docker 网桥 docker0 通信(docker0 是 Linux...对于本机网络IO的性能优化,常用的解决方案绕过 Linux 内核协议栈: DPDK(用户态旁路):通过 UIO/VFIO 驱动将网卡映射到用户空间,应用程序通过轮询模式驱动(PMD)直接操作网卡,数据包直达用户态
写在前面 考试整理相关笔记 博文内容涉及Linux VM 常见管理操作以及部分调优配置 理解不足小伙伴帮忙指正 不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了...——村上春树 使用工具进行调优 可以直接使用 tuned 包里面的适用于虚拟化调优的参数,tuned 中对于虚拟化通过两个优化配置,一个适用虚拟机,一个适用虚拟机所在的宿主机。...┌──[root@liruilongs.github.io]-[~] └─$ 可以通过/sys/kerel/mm/ksm/目录下的参数,设置调优参数: ┌──[root@liruilongs.github.io...]-[~] └─$cat /sys/kernel/mm/ksm/sleep_millisecs 30 ┌──[root@liruilongs.github.io]-[~] └─$ 虚拟磁盘配置调优 虚拟机使用的磁盘可以是一个块设备...调优 使用virsh blkdeviotune命令来为名为"workstation"的虚拟机的磁盘设备(vda)设置了I/O限制。
写在前面 考试整理相关笔记 博文内容涉及,文件系统常见调优手段 不同文件系统格式适用场景分析,格式化选项,挂载日志策略调整 文件系统日志和数据分离配置 fstrim 空间回收 理解不足小伙伴帮忙指正...ext4 (第四扩展文件系统): ext4 是Linux上最常用的文件系统之一,是对ext3文件系统的改进。它支持大文件和大容量分区,并提供更好的性能和可靠性。...┌──[root@liruilongs.github.io]-[/var/lib/libvirt/images] └─$systemctl enable --now fstrim.timer...=weekly AccuracySec=1h Persistent=true [Install] WantedBy=timers.target ┌──[root@liruilongs.github.io...日志和数据分离 默认XFS和ext4文件系统被创建时,日志会被放置在与文件系统相关的设备上,当出现大量随机写操作时,磁盘的IO压力比较大,我们可以通过将日志与数据分离的方式,来降低磁盘的IO压力,提高数据读写性能
写在前面 考试整理相关笔记 博文内容涉及,IO调度器,以及IO负载工具 fio 介绍,磁盘整列,IO 分析工具简单介绍,没有涉及具体的调优场景 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个...bfq ┌──[root@liruilongs.github.io]-[~] └─$ 调度器分类: Noop/none Noop(none是多队列版本的Noop) 调度算法是 Linux 内核中最简单的...容错能力:可以容忍多个磁盘故障,具体取决于故障发生在哪个镜像组上 创建软RAID mdadm 是一个用于管理 Linux 软件 RAID 的工具。...]-[~] └─$yum -y install sysstat ┌──[root@liruilongs.github.io]-[~] └─$ iostat -Np Linux 5.14.0-362.8.1...]-[~] └─$ iotop iotop 监控Linux系统中的磁盘I/O使用状况,实时显示系统中各个进程对I/O的使用情况。
关于调优的建议: 1、出错时,可以查看操作系统日志,可能会找到一些有用的信息 2、尽量不要“批量”修改内核参数,笔者就曾这么干过,结果“调优”后,性能反而下降,事务出错数反而增加,所以,调优的时候可以考虑逐个参数进行调优...net.core.rmem_max=124928 接收套接字缓冲区大小的最大值(以字节为单位),参考值873200 net.ipv4.tcp_wmem=4096 16384 4194304 为自动调优定义...缓冲区在系统负载不重的情况下可以增长到这个值;第三个值是发送缓冲区空间的最大字节数(该值会被wmem_max覆盖) net.ipv4.tcp_rmem=4096 87380 4194304 为自动调优定义
# Or docker pull ghcr.io/jaywcjlove/linux-command:latest 部署容器: docker run --name linux-command --rm.../linux-command:latest # Or docker run --name linux-command -itd -p 9665:3000 ghcr.io/jaywcjlove/linux-command...这里附上一个调优的脚本,我来简单翻译一下: 地址: https://github.com/nyist-mirror/kernel_tuning # !...自动调优TCP缓冲区限制 Echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmem Echo "4096 87380 16777216" > /proc...sys/net/ipv6/conf/all/disable_ipv6 Echo "1" > /proc/sys/net/ipv6/conf/default/disable_ipv6 # ####文件系统调优
为什么要性能调优? 大部分的linux发行版是为了完全兼容市场中大部分计算机而设计的。这是一个相当混杂的硬件集合(硬盘,显卡,网卡,等等)。...磁盘子系统的调优 对于Linux的Ext3/4来说,几乎在所有情况下都有所帮助的一个参数是关闭文件系统访问时间,在/etc/fstab下看看你的文件系统 有没有noatime参数.atime 是最近访问文件的时间...这些回应可以被忽略: 1 sysctl -w net.ipv4.icmp_ignore_bogus_error_responses=1 下边的命令用来对连接数量非常大的服务器进行调优。...内存子系统的调优不是很容易,需要不停地监测来保证内存的改变不会对服务器的其他子系统造成负面影响。...系统与性能监控 http://kerrigan.sinaapp.com/post-7.html 性能调优攻略 http://coolshell.cn/articles/7490.html Linux系统下的
执行 ulimit -a 查看系统配置 需要修改max user processes 和 open files 这两个值 vim /etc/sec...
写在前面 整理一些Linux用电功耗调优的笔记,分享给小伙伴,关于用电调优个人觉得: 最好使用powertop这样的专业工具来搞 或者使用Linux自带的调优策略来 建议针对某些策略进行调优要做好评估...tuned调优 使用节源工具powertop自动调优 食用方式 需了解Linux基础知识 「 我以为爱情可以填满人生的遗憾,然而,制造更多遗憾的却偏偏是爱情」 ---- 我的Linux内核版本 ┌──[...下面我们我们看一些可以在在Linux系统上实现这些策略的一些方法。...节能调优配置文件 RHEL7/8的调优服务tuned:提供了大量预设的调优方案,旨在于简化调优的实施,充分利用系统资源与能效。...管理员可以针对不同的业务选择不同的优化策略,节能的调优可以使用powersave策略 ┌──[root@liruilongs.github.io]-[/sys/class/scsi_host/host0
ulimit -a 来查看所有限制值 应用实例: 在Linux下写程序的时候,如果程序比较大,经常会遇到“段错误” (segmentation fault)这样的问题主要就是由于Linux系统初始的堆栈大小...如果要系统自动记住这个配置,就编辑/etc/profile文件,在 “ulimit -S -c 0 > /dev/null 2>&1”行下,添加“ulimit -s 262140”,保存重启系统就可以了 Linux...为提高性能,可以根据设备资源情况,设置各linux 用户的最大进程数,下面我把某linux用户的最大进程数设为10000个: ulimit -u 10000 对于需要做许多 socket 连接并使它们处于打开状态的...打开文件的最大数目 对于需要做许多套接字连接并使它们处于打开状态的应用程序而言,最好通过使用 ulimit –n,或者通过设置nofile 参数,为用户把文件描述符的数量设置得比默认值高一些 参考推荐: linux...ulimit调优 通过ulimit改善系统性能 poor man's profiler
net.core.somaxconn = 100000 #Linux kernel参数,表示socket监听的backlog(监听队列)上限 net.core.wmem_default = 11059200...net.ipv4.tcp_rmem #与 tcp_wmem 类似,不过它表示的是为自动调优所使用的接收缓冲区的值。...net.ipv4.tcp_wmem = 30000000 30000000 30000000 #为自动调优定义每个 socket 使用的内存。...#在充当网关的linux主机上缺省值为1,在一般的linux主机上缺省值为0。 #从安全性角度出发,建议你关闭该功能。
,ip,sar,iptraf,netstat)使用Demo及对应的输出解释 具体的调优策略步骤 食用方式: 需要了解Linux基础,网络分层相关知识 没有完整的调优Demo,只是提供的一些方向。...关于调优工具,你可以学习到 确定系统内以太网设备的带宽和双工设置(mii-tool、ethtool)。 确定流经每个以太网接口的网络流量(ifconfig、sar、iptraf、netstat)。...--------叔本华」 ---- 学习网络调优工具之前,简单温习一下网络I/O相关的知识 涉及名词解释 带宽(传输速率):数据传输的过程中,两个设备之间数据流动的物理速度称为传输速率,单位为bps(Bits...]-[~/ansible] └─$sar -n DEV 1 1 Linux 3.10.0-693.el7.x86_64 (vms81.liruilongs.github.io) 2022年...]-[~/ansible] └─$sar -n EDEV 1 1 Linux 3.10.0-693.el7.x86_64 (vms81.liruilongs.github.io) 2022
下面分三类瓶颈:CPU、内存、IO(含磁盘与网络),每类给出诊断命令、常见判别依据、应急缓解和长期修复建议。...s): 92.0 us, 3.0 sy, 0.0 ni, 2.0 id, 3.0 wa # 2) 更细:每个 CPU 的使用(查看是否存在核不均衡) $ mpstat -P ALL 1 1 Linux...瓶颈(继续看 IO 部分); • %steal 高 → 虚拟化宿主被抢占(云主机需联系云厂商或扩容)。...深入修复(长期) • 升级到更快存储,使用 RAID 0/10 或 NVMe,按成本与可靠性权衡; • 对数据库做分库分表、写入合并或异步化,减少同步写; • 在文件系统层面调优 mount 选项,例如...结尾话 性能调优不是一次性的魔法,而是一种持续的工程:不断观察、不断剖析、不断改进。现场救火要快要稳,事后修复要彻底。
Linux性能调优那些事儿 01 一、前提 我们可以在文章的开始就列出一个列表,列出可能影响Linux操作系统性能的一些调优参数,但这样做其实并没有什么价值。...因为性能调优是一个非常困难的任务,它要求对硬件、操作系统、和应用都有着相当深入的了解。...如果性能调优非常简单的话,那些我们要列出的调优参数早就写入硬件的微码或者操作系统中了,我们就没有必要再继续读这篇文章了。正如下图所示,服务器的性能受到很多因素的影响。 ?...如果想要理解Linux系统内存的调优,我们必须了解Linux的虚拟内存机制。应用程序并不分配物理内存,而是向Linux内核请求一部分映射为虚拟内存的内存空间。...在今天很多驱动程序默认没有启用NAPI,这就为我们调优网络子系统的性能提供了更广阔的空间。 07 七、理解Linux调优参数 因为Linux是一个开源操作系统,所以又大量可用的性能监测工具。