在Linux环境中，了解存储/磁盘I/O性能对于评估系统性能和优化存储子系统非常重要。通过测试存储/磁盘I/O性能，我们可以确定磁盘的读写速度、延迟和吞吐量等指标。本文将介绍几种常用的方法来测试Linux机器中的存储/磁盘I/O性能。
项目需要使用的主板有很多性能需要经过测试之后才能用于开发使用，因此将Linux上一些常用的tools移植进板子进行测试。
前面系列已经讲完了硬件选型、部署、调优，在上线之前呢需要进行性能存储测试，本章主要讲述下测试Ceph的几种常用工具，以及测试方法。
有关Windows磁盘性能压测，笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然，如果要使用其他磁盘性能压测工具也是可以的，比如：IOMeter（老牌经典）、FIO（更适合Linux）等。
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。它支持 19 种不同类型的 I/O 引擎 (sync、mmap、libaio、posixaio、SG v3、splice、null、network、 syslet、guasi、solarisaio，以及更多)， I/O 优先级（针对较新的 Linux 内核），I/O 速度，fork 的任务或线程任务等等。它能够在块设备和文件上工作。
是否使用 direct io，测试过程不使用OS 自带的buffer，使测试磁盘的结果更真实。Linux读写的时候，内核维护了缓存，数据先写到缓存，后面在后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快，但是一旦掉电，缓存里的数据就没有了。所以有一种模式叫做direct io，跳过缓存，直接读写SSD。
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。
https://www.cs.nmsu.edu/~pfeiffer/fuse-tutorial/
1.缓冲 I/O，是指利用标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。
参考博客： http://lilinji.blog.51cto.com/5441000/1569623
通过讲解如何优雅扩容云硬盘，我们了解了云盘连接到服务器上的具体操作过程。那么，如何进一步了解已挂载硬盘的实际性能呢？你或许会疑惑，测试硬盘性能，为什么不能用Linux系统自带的dd工具呢？而且不少人之前都这么用的：
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。
介绍：FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持多种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等
目前主流的第三方IO测试工具有fio、iometer和Orion，这三种工具各有千秋。
前言 fio 是一款非常经典的开源磁盘io测试工具 fio is an I/O tool meant to be used both for benchmark and stress/hardware verification. It has support for 19 different types of I/O engines (sync, mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio,
云硬盘是一种高可用、高可靠、低成本、可定制化的网络块存储，可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储，采用三副本的分布式机制，为云服务器提供数据可靠性保证。云硬盘提供以下 SSD 云硬盘、高性能云硬盘及普通云硬盘三种云硬盘类型，不同的硬盘类型、性能、特点和价格均不同。
上篇文章 「什么？相同型号物理机 容器性能不如虚拟机？」 ，给我们的经验教训，就是上线前，基准测试的重要性，这篇文章着重介绍一下「Linux 性能基准测试工具及测试方法」
基础操作 [root@iZ116haf49sZ bin]# ll /usr/local/bin/fio -rwxr-xr-x 1 root root 3113575 Nov 12 21:48 /usr/local/bin/fio [root@iZ116haf49sZ bin]# /usr/local/bin/fio -h fio-2.1.10 /usr/local/bin/fio [options] [job options] <job file(s)> --debug=options Enable
马上年底了，各种云评测陆续放了出来，最近看到有一些评测也引起了争议，第三方评测数据可以作为参考，真正要使用云，将业务放到云上，还是要自己来做一些评测，一方面自己跑的数据可信，一方面自己最了解业务需求，知道测试的时候应该重点关注那些指标。
安装 [root@iZ116haf49sZ fio]# less README [root@iZ116haf49sZ fio]# ./configure Operating system Linux CPU x86_64 Big endian no Compiler gcc Cross compile no Sta
前言： 简单看了一下glusterfs，使用单节点构造glusterfs环境，导出的路径是是本地SSD在分区上。用qemu挂载glusterfs上的卷，用FIO测试IOPS，测试结果不理想。 大致分析了一下，怀疑fuse会导致性能下降。 分析： 1，libfuse & fuse 为了方便测试和便于分析问题，使用了libfuse。代码地址https://github.com/libfuse/libfuse 编译libfuse比较麻烦，不支持Makefile，需要用meson编译，而且meson的版本要求比较高，不能用apt-get直接安装。操作方法就是下载高版本的meson包，在meson包里面执行python3 setup.py install。 除了用户态的libfuse之外，还需要kernel支持。作者在Ubuntu1804上测试，fuse已经被编译到kernel中。在config文件（内核配置文件即ls /boot/config-`uname -r`）中CONFIG_FUSE_FS。如果是kmod的方式编译，执行modprobe fuse。
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持13种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。他可以通过多线程或进程模拟各种io操作。
Ceph，作为一个高度可扩展的分布式存储系统，已经成为云计算和大数据时代的关键基石。随着企业和组织对数据存储的需求日益增长，Ceph 通过其强大的特性，如可靠性、伸缩性和性能，满足了这些需求。然而，随着集群规模的扩大和工作负载的多样性，如何确保资源的有效分配和性能隔离成为了一个重要议题。在这个背景下，Ceph 的 Quality of Service (QoS) 功能显得尤为重要。
合成测试程序根据统计的真实负载发生规律，如请求的读写比例，大小，频率和分布等信息。建立响应的io存取模型。在测试时产生符合存取模型的io请求序列。发送给存储系统。这类程序包括 IOMeter,IOZone 和 Bonnie++。
本文介绍了作者常用的 4 个 Linux 监控工具，希望可以帮助读者提高生产力。
磁盘压测工具理论上都有损坏文件系统的可能，如果盘里有数据，压测前一定先做快照，压测完毕后回滚快照还原回去，确保不因压测磁盘丢数据。
身为一个运维开发人员，如果你不知道眼下当前服务器底层操作系统中正在发生什么，那就有点合眼摸象了。其实，你可以根据相应数据做出一定的推测，但是要做到这一点，就需要原始数据，并且数据要有一定的实时性。
前言 其实这个专题很久很久之前就想写了，但是一直因为各种原因拖着没动笔。 因为没有资格，也没有钱在一线城市买房 (😂😂😂); 但是在要结婚之前，婚房又是刚需。我和太太最终一起在一线城市周边的某二线城市买了房。再之后，一起装修，她负责非电相关，我负责电 网相关的装修。家庭组网，家庭实验室就这么一步一步随着家庭的组建而组建了起来： 1.家庭有线无线组网2.智能家居3.NAS4.公网 IP 和 IPv65.Wake Online (WOL)6.家庭网络安全 (😂看了防火墙日志，才知道被攻击频率能有多高）7.玩转
SLI（Service Level Indicator）：服务等级指标，其实就是我们选择哪些指标来衡量我们的稳定性。
广义上Cache的同步方式有两种，即Write Through（写穿）和Write back（写回）. 从名字上就能看出这两种方式都是从写操作的不同处理方式引出的概念（纯读的话就不存在Cache一致性了，不是么）。对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作，完成下层的更新后才返回。而Write back正好相反，指的是写完Page Cache就可以返回了。Page Cache到下层的更新操作是异步进行的。
fio是一个适应性非常强的软件，基本上能够模拟所有的IO请求，是目前最全面的一款测试软件，之前在看德国电信的一篇分享的时候，里面就提到了，如果需要测试存储性能，尽量只用一款软件，这样从上层测试到底层去，才能更好的去比较差别
2、fio测试建议在空闲的、未保存重要数据的硬盘上进行，并在测试完后重新制作文件系统。请不要在业务数据硬盘上测试，避免底层文件系统元数据损坏导致数据损坏。
在众多磁盘性能测试工具中，dd 命令因其简单易用和易于获得而深受广大运维工程师的喜爱。在这篇文章中，我们将探讨如何将它与 hdparm 命令一起使用，快速有效地评估磁盘性能。
块是文件系统的抽象，而非磁盘的属性，一般是 Sector Size 的倍数；扇区大小则是磁盘的物理属性，它是磁盘设备寻址的最小单元。另外，内核中要求 Block_Size = Sector_Size * (2的n次方)，且 Block_Size <= 内存的 Page_Size (页大小)。
CephFS允许客户端缓存metadata 30s，所以这里测试对MDS stop/start的时间间隔取为：2s，10s，60s。
NVMe SSD具有高性能、低时延等优点，是目前存储行业的研究热点之一，但在光鲜的性能下也同样存在一些没有广为人知的问题，而这些问题其实对于一个生产系统而言至关重要，例如：
FIO 工具使用：https://www.cnblogs.com/xuyaowen/p/fio-usage.html
本篇文章是性能篇的最后一篇文章，算是一个学习笔记吧，当中的例子也是从别的文章里面摘录的，主要用来讲解如何使用和查看对应的指标。这一篇主要介绍文件系统，说的更加具体点其实是磁盘这个点。
rpmbuild --rebuild iomemory-vsl-3.2.4.1086-1.0.el6.src.rpm
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
过去，数据库一体机通常采用X86服务器和InfiniBand网络的硬件环境。然而，InfiniBand网络的部署和维护成本高昂，需要专门的硬件和管理技能。现在，RoCE网络可以提供与InfiniBand网络相当的性能。因此使用RoCE网络替代InfiniBand网络，可以降低成本、提高组网的灵活性和可扩展性，更容易地进行部署和运维。
这两天有一个临时性的小任务，使用fio工具对SSD磁盘进行硬件测试，fio这个工具之前没有用过，这两天简单研究了一下这个工具，把一些常用的参数在这里说明一下。
randrepeat=boolForrandomIOworkloads,seedthegeneratorinapredictablewaysothatresultsarerepeatableacrossrepetitions.Defaultstotrue.randseed=intSeedtherandomnumbergeneratorsbasedonthisseedvalue,tobeabletocontrolwhatsequenceofoutputisbeinggenerated.Ifnotset,therandomsequencedependsontherandrepeatsetting.fallocate=strWhetherpre-allocationisperformedwhenlayingdownfiles.Acceptedvaluesare:noneDonotpre-allocatespaceposixPre-allocateviaposix_fallocate()keepPre-allocateviafallocate()withFALLOC_FL_KEEP_SIZEset0Backward-compatiblealiasfor'none'1Backward-compatiblealiasfor'posix'Maynotbeavailableonallsupportedplatforms.'keep'isonlyavailableonLinux.IfusingZFSonSolaristhismustbesetto'none'becauseZFSdoesn't support it. Default: 'posix'. fadvise_hint=bool By default, fio will use fadvise() to advise the kernel on what IO patterns it is likely to issue. Sometimes you want to test specific IO patterns without telling the kernel about it, in which case you can disable this option. If set, fio will use POSIX_FADV_SEQUENTIAL for sequential IO and POSIX_FADV_RANDOM for random IO. fadvise_stream=int Notify the kernel what write stream ID to place these writes under. Only supported on Linux. Note, this option may change going forward. size=int The total size of file io for this job. Fio will run until this many bytes has been transferred, unless runtime is limited by other options (such as 'runtime', for instance, or increased/decreased by 'io_size'). Unless specific nrfiles and filesize options are given, fio will divide this size between the available files specified by the job. If not set, fio will use the full size of the given files or devices. If the files do not exist, size must be given. It is also possible to give size as a percentage between 1 and 100. If size=20% is given, fio will use 20% of the full size of the given files or devices. io_size=int io_limit=int Normally fio operates within the region set by 'size', which means that the 'size' option sets both the region and size of IO to
Milvus 是一个为通用人工智能（GenAI）应用而构建的开源向量数据库。它以卓越的性能和灵活性，提供了一个强大的平台，用于存储、搜索和管理大规模的向量数据。Milvus 能够执行高速搜索，并以最小的性能损失扩展到数百亿向量。其分布式架构确保了系统的高可用性和水平可扩展性，满足不断增长的数据需求。同时，Milvus 提供了丰富的 API 和集成选项，使其成为机器学习、计算机视觉和自然语言处理等 AI 应用的理想选择。
参考文档 http://docs.ceph.com/docs/master/start/quick-start-preflight/#rhel-centos https://www.linuxidc.com/Linux/2017-09/146760.htm http://s3browser.com/ http://docs.ceph.org.cn/man/8/rbd/ https://hub.packtpub.com/working-ceph-block-device/# https://github.co
FIO是一款开源的 I/O 压力测试工具，主要是用来测试磁盘的IO性能。它可以支持多种不同的I/O引擎。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
