之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
项目需要使用的主板有很多性能需要经过测试之后才能用于开发使用，因此将Linux上一些常用的tools移植进板子进行测试。
在上一篇云硬盘性能分析的教程中，为大家介绍了如何评测云硬盘的读写性能。但是，我们使用硬盘，从来不是直接读写裸设备，而是通过文件系统来管理和访问硬盘上地文件。不少朋友询问，文件系统该如何对比，又该如何选择呢？
容器在 docker host 中实际上是一个进程，docker stop 命令本质上是向该进程发送一个 SIGTERM 信号。如果想快速停止容器，可使用docker kill 命令，其作用是向容器进程发送SIGKILL信号。
在我之前的文章：《探讨 Linux 的磁盘 I/O》中，我谈到了 Linux 磁盘 I/O 的工作原理，我们了解到 Linux 存储系统 I/O 栈由文件系统层（file system layer）、通用块层（ general block layer）和设备层（device layer）构成。
前言 在linux平台上，我们经常需要使用各种各样的工具查看设备的使用情况。例如使用iostat查看块设备的IO情况，使用iftop查看网卡设备的流量情况。 但是virtio family的设备这种越来越多，virtiofs、virtio gpu、virtio console等设备却缺少相应的工具。基于以上原因，作者开发了virtiostat工具，作为bcc工具集的一部分，提供了virtio设备的stat监控能力。 分析 原理 在Linux上，virtio设备进行IO的时候，会先生成scatterlist这样的数据结构，然后使用如下几个API，把数据加入到virt queue中：
Ceph，作为一个高度可扩展的分布式存储系统，已经成为云计算和大数据时代的关键基石。随着企业和组织对数据存储的需求日益增长，Ceph 通过其强大的特性，如可靠性、伸缩性和性能，满足了这些需求。然而，随着集群规模的扩大和工作负载的多样性，如何确保资源的有效分配和性能隔离成为了一个重要议题。在这个背景下，Ceph 的 Quality of Service (QoS) 功能显得尤为重要。
通过讲解如何优雅扩容云硬盘，我们了解了云盘连接到服务器上的具体操作过程。那么，如何进一步了解已挂载硬盘的实际性能呢？你或许会疑惑，测试硬盘性能，为什么不能用Linux系统自带的dd工具呢？而且不少人之前都这么用的：
通过之前的教程，我们了解如何在Linux和Windows云服务器下挂载和扩容云硬盘，解决了业务存储的性能扩展问题。那么，如何妥善地解决块存储的安全问题呢？这篇我们将一起探索在腾讯云上，为云硬盘做基于dm-crypto/LUKS的块设备加密的方法实践。
有关Windows磁盘性能压测，笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然，如果要使用其他磁盘性能压测工具也是可以的，比如：IOMeter（老牌经典）、FIO（更适合Linux）等。
这是 Linux 性能分析系列的第三篇，前两篇分别讲了 CPU 和 内存，本篇来看 IO。
上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。
很多架构师都是从软件开发成长起来的，大家在软件领域都有很深的造诣，大部分人对硬件接触的很少。而成为架构师后需要频繁的跟人 、硬件 、软件 、网络打交道，本篇文章就给大家带来服务器硬件方面的相关知识，主要包括服务器、CPU、内存、磁盘、网卡。
IO子系统一般是linux系统中最慢的部分。一个原因是它距离CPU的距离，另一个原因是它的物理结构。访问磁盘的时间与访问内存的时间是7天与7分钟的区别。linux kernel要尽量减少磁盘IO。 1.Reading and Writing Data linux内核以page为单位访问磁盘IO，一般为4K。 查看页大小：/usr/bin/time -v date Page size (bytes): 4096 2.Major and Minor Page Faul
1、问题： 最近在做日志的实时同步，上线之前是做过单份线上日志压力测试的，消息队列和客户端、本机都没问题，但是没想到上了第二份日志之后，问题来了： 集群中的某台机器 top 看到负载巨高，集群中的机器
Linux磁盘及文件系统管理 CPU,memory(RAM),I/O i/o: disks,ehtercard disks:持久存储数据 接口类型: IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高，干扰频率越高 SCSI:并口,Ultrascsi320,320MB/s,UltraSCSI640,640MB
前面系列已经讲完了硬件选型、部署、调优，在上线之前呢需要进行性能存储测试，本章主要讲述下测试Ceph的几种常用工具，以及测试方法。
tc(Traffic Control) 是linux系统中常用的来控制传输速率、模拟网络延时丢包等场景的工具，tc命令有三个主要的概念，是qdisc、class和filter，qdisc又分为classless qdisc和classful qdisc，在控制传输速度的方面大致有两种用法
对于磁盘有个iops的概念比较奇怪，想监控起来看下，利用zabbix的自动发现把每个磁盘的iops监控起来，思路：自动发现所有的磁盘，然后监控各个磁盘的iops。效果如下图(iops和io读写大小)，下图监控的磁盘是个sdd的，iops今天监控起来后峰值有30k：
vicfg-user --url https://esxi-host/sdk/webService --username root --password [old-pwd] -u root -e user -l root -o modify -p [new-pwd]
前面两篇文章我们总结了 Docker 背后使用的资源隔离技术 Linux namespace。 Docker 基础技术之 Linux namespace 详解 Docker 基础技术之 Linux namespace 源码分析 本篇将讨论另外一个技术——资源限额，这是由 Linux cgroups 来实现的。 cgroups 是 Linux 内核提供的一种机制，这种机制可以根据需求把一系列任务及子任务整合（或分隔）到按资源划分等级的不同组内，从而为系统资源管理提供一个统一的框架。（来自 《Docker
小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
通常情况下，我们一台宿主机上会同时启动多个Docker容器，而在默认情况下，Docker是没有限制其运行的容器所使用的硬件资源，比如CPU，内存，IO等。而在实际环境中，往往一个容器的负载过高，会占用宿主机的大部分资源，会导致其他容器的访问资源被抢占，而出现响应超时或无法响应等情况。
云硬盘是一种高可用、高可靠、低成本、可定制化的网络块存储，可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储，采用三副本的分布式机制，为云服务器提供数据可靠性保证。云硬盘提供以下 SSD 云硬盘、高性能云硬盘及普通云硬盘三种云硬盘类型，不同的硬盘类型、性能、特点和价格均不同。
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
目前主流的第三方IO测试工具有fio、iometer和Orion，这三种工具各有千秋。
| 作者 王文安，腾讯CSIG数据库专项的数据库工程师，主要负责腾讯云数据库 MySQL 的相关的工作，热爱技术，欢迎留言进行交流。 ---- 在日常工作中，有时候会发现 MySQL 的状态不太对劲，这时候就会看看监控指标，可能会发现：写入 QPS 开始出现毛刺，或者 IO 的指标很高。这时候该怎么办呢？ 本文会从 Linux 层面入手，根据不同的 IO 特点来分析 MySQL 数据库可能遇到的问题，并给出一些可参考的优化/缓解思路。 一、怎么看懂 IO 指标？ 检查 IO 的问题会使用iostat这
生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题，例如交换机故障、网线老化导致的丢包重传；存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设置不当等引起的IO延时。
IOPS：(Input/Output operations Per Second,既每秒处理I/O的请求次数)
docker容器可以理解为在沙盒中运行的进程。这个沙盒包含了该进程运行所必须的资源，包括文件系统、系统类库、shell 环境等等。但这个沙盒默认是不会运行任何程序的。你需要在沙盒中运行一个进程来启动某一个容器。这个进程是该容器的唯一进程，所以当该进程结束的时候，容器也会完全的停止。
本篇文章是性能篇的最后一篇文章，算是一个学习笔记吧，当中的例子也是从别的文章里面摘录的，主要用来讲解如何使用和查看对应的指标。这一篇主要介绍文件系统，说的更加具体点其实是磁盘这个点。
默认情况下容器是没有资源限制的，因为它本身就是一个进程，当一个容器占用太多资源的话，会对其他容器产生影响，所以 ，合理应该分配容器资源是作为管理员必须要关注的问题。
早于windows 2008 的windows系统，2010年以前的linux系统，第一个分区的扇区是磁盘第63扇区，并且扇区尺寸是是512byte，这个是历史的原因，硬盘必须将cylinder / head / sector (CHS) 信息报告给BIOS，这个信息在现代的操作系统是无意义的，但是磁盘依然报告给bios每个磁盘轨道有63个扇区，因此操作系统依然将第一个分区的开始位置放置到第一个磁盘轨道上，在第63个扇区开始。
硬盘中一般会有多个盘片组成，每个盘片包含两个面，每个盘面都对应地有一个读/写磁头。受到硬盘整体体积和生产成本的限制，盘片数量都受到限制，一般都在5片以内。盘片的编号自下向上从0开始，如最下边的盘片有0面和1面，再上一个盘片就编号为2面和3面。
Docker的镜像是创建容器的基础，类似虚拟机的快照，可以理解为是一个面向Docker容器引擎的只读模板，比如：一个镜像可以是一个完整的CentOS操作系统环境，称为一个Centos镜像;可以是一个安装了 MYSOL的应用程序，称之为一个MySQL镜像等等。
在工作中，有时会需要将容器暂停，例如，要为容器文件系统做一个快照时。使用 docker pause 与 docker unpause 命令可以对容器进行暂停与激活操作，并且暂停状态的容器不会占用宿主机 CPU 资源。
介绍：FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持多种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等
直接摘抄自己《揭秘家用路由器0day漏洞挖掘技术》，网上查了一下也没有找到令人满意的QEMU的使用说明，就采用这本书上的介绍。如果后期能够找到比较满意的QEMU的使用方法的说明，再添加上来。
本文环境是二进制部署的k8s集群，prometheus和grafana通过yaml部署（非operator）
最近测试了一下PCIE-SSD在数据库环境的迁移 和加压情况，IOPS无可置疑，比起机械硬盘确实是高了很多个量级，在数据环境中的IO方面确实有很稳定的提升，目前使用闪存产品系列，看官网最新的发布 已经
使用步骤： 1.设置一个定时任何 执行getperf.sh，采集性能数据 2.将采集到性能数据文件，如：192.168.1.1.tar.gz 解压 3.将性能分析的脚步performance_analyse.sh 放到解压后的目录中 4.安装gnuplot程序 5.将字体文件夹，拷贝到/usr/share/fonts/目录 6.直接运行 bash performance_analyse.sh
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。
本文最终的解决方式很简单，就是将现有卷升级为支持更高IOPS的卷，但解决问题的过程值得推荐。
GPFS 的概念 GPFS 的全称为：General Parallel File System，即通用并行文件系统。IBM GPFS 是一个可自由扩展的高性能并行文件系统，它主要有以下三个特点： 基于高可用的集群架构，可灵活扩展 支持并行的共享磁盘访问方式，提供单一命名空间 针对并行 I/O 负载优化，提供极高的 I/O 处理能力 本文主要立足于 GPFS 配置的变更与性能的测试，因此 GPFS 的安装，在本文不做赘述。 GPFS 的配置变更 动态增加一个 NSD client 我们以一个 6 节点的 GP
在上期，我们提到了，以NFS，CIFS(SAMBA)为代表的资本主义时代的存储技术，虽然实现了远端主机跨越互联网访问共享的数据，极大地提升了生产力，但集中式存储主控(俗称机头)的处理能力成为了IO和吞吐能力的瓶颈，正如资本主义生产关系下，生产资料私有制约束了生产力的进步。
腾讯云云服务器：https://curl.qcloud.com/U9i22oWO 腾讯云云硬盘：https://console.cloud.tencent.com/cvm/cbs 在大家购买云服务器时，会对服务器进行配置，例如实例选项，硬盘大小，但是大家是否有去关注过云硬盘的选型呢？如下表所示，腾讯云云硬盘共有5个规格，按性能比较，从低到高分别为：高性能云硬盘、通用型 SSD 云硬盘、SSD 云硬盘、增强型 SSD 云硬盘、极速型 SSD 云硬盘
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
