dd 也是我们经常使用到的磁盘测试工具,Linux服务器装好系统之后,想要知道硬盘的读写是否能满足服务的需要,如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试,更为专业的测试可以使用上面描述的fio 工具:
近期实验室项目需对2GB/s的高速数字图像数据实时存储,后续数据带宽将提升至30GB/s。经调研,SATA协议的固态硬盘理论存储有效带宽为600MB/s,NVMe协议的固态硬盘理论带宽随PCIe协议而不同。NVMe协议的固态硬盘在PCIe Gen2、Gen3条件下,理论有效带宽分别为2GB/s、3.938GB/s。目前,NVMe SSD最高搭载PCIe Gen4通路,其理论有效带宽为7.877GB/s。
在两年之A前的帖子《FPGA实现高带宽NVMe SSD读写》中,我们实现了一个基于PS和PL端的高速NVMe SSD IP。这个IP在我们自己的系统中使用正常,但是由于该IP使用了PS端资源,在与其他应用系统集成时遇到了麻烦。为了保护自有的设计,需要独占PS端的一个ARM处理器,这使得该IP在与其他项目集成时,使用很不方便。除此以外,原方案IP写SSD硬盘的最大速度约为2.8GB/s,而PCIe Gen3条件下理论有效带宽为3.938GB/s,基于x86的PC测速一般为3.6GB/S,FPGA的实现方式与理论速度以及x86平台的速度存在一定的差距,因此希望进一步提高IP的硬盘的读写速率。
是否使用 direct io,测试过程不使用OS 自带的buffer,使测试磁盘的结果更真实。Linux读写的时候,内核维护了缓存,数据先写到缓存,后面在后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快,但是一旦掉电,缓存里的数据就没有了。所以有一种模式叫做direct io,跳过缓存,直接读写SSD。
通过讲解如何优雅扩容云硬盘,我们了解了云盘连接到服务器上的具体操作过程。那么,如何进一步了解已挂载硬盘的实际性能呢?你或许会疑惑,测试硬盘性能,为什么不能用Linux系统自带的dd工具呢?而且不少人之前都这么用的:
现在IT科技日益飞速发展,人们对于电脑的性能要求也越来越高。从显卡到CPU再到内存,小小机箱内的硬件无不在不停的进化之中。而唯独没有太大性能突破的,要数硬盘了。自从SSD推入市场以后,一直未被广大消费者所接受。除了高昂的价格之外,还有过小的容量。而近来随着用户要求的不断提升,SSD也开始被人们所接受。很多人使用一块较小的SSD作为系统分区,再加一块传统机械硬盘作为存储。
存储的比特数越多,能表示的数据(电压)越多,需要电压计更高精度的控制,因此读写速度有一定程度的降低。
放在五年前,SSD (Solid State Drive,固态硬盘)对大多数人而言仍然是一个新兴的陌生产品, 他们不太明白这个又贵又小的硬盘能够给电脑带来什么样的体验。然而时至今日,SSD 已经成为了中高端电脑的标配。甚至对于入门级配置而言,SSD 还是 HDD 的区别已经取代了传统三大件,直接影响着整机运行速度。适逢最近 SSD 降价,不少朋友都有来咨询 reizhi 有关 SSD 的一些问题,这边便汇聚成文,一起总结一下。
几年前,用Proxmox Virtual Environment(一个VMWare Vsphere的开源替代,以后简称PVE)搭建了一个测试云平台,使用了PVE自带的分布式存储Ceph。加上PVE自带的KVM虚拟机和LXC容器,再配置了虚拟交换机Open vSwitch,勉强算是一个所谓的超融合构架。
Written by 王磊(bluestn). Summary SRS支持将直播录制为VoD文件,在压测时,如果流路数很多,会出现CPU消耗很多的问题。 原因是写入较小视频包时,SRS使用了write,由于没有缓冲能力,导致频繁的系统调用和磁盘繁忙。 优化方案,可以选择fwrite(v5.0.133+),或者老版本用内存盘方案,可将DVR性能提升一倍以上。 Environments SRS服务器配置如下: • CPU:INTEL Xeon 4110 双路16和32线程 • 内存:32G • 网卡:10Gb
固态驱动器(Solid State Drive),俗称固态硬盘,固态硬盘是用固态电子存储芯片阵列而制成的硬盘,因为台湾英语里把固体电容称之为Solid而得名。SSD由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同,在产品外形和尺寸上也完全与普通硬盘一致。被广泛应用于军事、车载、工控、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等诸多领域。
Java 在 JDK 1.4 引入了 ByteBuffer 等 NIO 相关的类,使得 Java 程序员可以抛弃基于 Stream ,从而使用基于 Block 的方式读写文件,另外,JDK 还引入了 IO 性能优化之王—— 零拷贝 sendFile 和 mmap。但他们的性能究竟怎么样? 和 RandomAccessFile 比起来,快多少? 什么情况下快?到底是 FileChannel 快还是 MappedByteBuffer 快……
固态硬盘作为目前旗舰电脑必备的存储设备,可以大幅度提高电脑的运行速度,拥有一块好的固态硬盘,还是十分有必要的,今天小编给大家分享如何挑选一款好的固态硬盘,希望对大家能有所帮助!
公司使用的是HP gen8机器,用的是p420i阵列卡,同时在系统的另一端,nagios监控系统配合nrpe脚本check_hpasm定期检测硬件健康。
大家如果想自己组装电脑的话,肯定需要购买一个 CPU,但是存储器方面的设备,分类比较多,那我们肯定不能只买一种存储器,比如你除了要买内存,还要买硬盘,而针对硬盘我们还可以选择是固态硬盘还是机械硬盘。
怎样去 DIY 一台主机呢?它可以满足自己的工作、游戏需求,还要颜值高、噪音小、最重要的是价格要便宜,质量要好。
广义上Cache的同步方式有两种,即Write Through(写穿)和Write back(写回). 从名字上就能看出这两种方式都是从写操作的不同处理方式引出的概念(纯读的话就不存在Cache一致性了,不是么)。对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作,完成下层的更新后才返回。而Write back正好相反,指的是写完Page Cache就可以返回了。Page Cache到下层的更新操作是异步进行的。
更早提出闪存概念的是1967年,贝尔实验室江大原(Dawon Kahng,韩裔)和施敏博士(Simon Sze)共同发明了浮栅MOSFET,即所有闪存的基础。
前言 其实这个专题很久很久之前就想写了,但是一直因为各种原因拖着没动笔。 因为没有资格,也没有钱在一线城市买房 (😂😂😂); 但是在要结婚之前,婚房又是刚需。我和太太最终一起在一线城市周边的某二线城市买了房。再之后,一起装修,她负责非电相关,我负责电 网相关的装修。家庭组网,家庭实验室就这么一步一步随着家庭的组建而组建了起来: 1.家庭有线无线组网2.智能家居3.NAS4.公网 IP 和 IPv65.Wake Online (WOL)6.家庭网络安全 (😂看了防火墙日志,才知道被攻击频率能有多高)7.玩转
北京万里开源软件有限公司,是专注于国产自主可控数据库产品研发超 20年的国家高新技术企业,参与多个国家级的数据库行业标准制定工作。本次用于测试的 GreatSQL 开源数据库是适用于金融级应用的国内自主 MySQL 版本,专注于提升 MGR 可靠性及性能,支持 InnoDB 并行查询等特性,可以作为 MySQL 或 Percona Server 的可选替换,用于线上生产环境,且完全免费并兼容 MySQL 或 Percona Server。
机箱是双层金属的,内层粗网状金属,外层细网状金属,wifi和蓝牙的波长不一样,不屏蔽wifi信号但完全屏蔽了蓝牙信号,就如同屏蔽室一样。
示波器卡上一般会有512M-2G左右的缓存,可以存储采集的信号,但当采集数据超过2G时,普通的PCI/PXI总线接口带宽只有133M,难以承担实时传输的任务。
在我的文章《使用开源工具识别 Linux 性能瓶颈》中,我解释了一些使用开源的图形用户界面(GUI)工具监测 Linux 性能的简单方法。我的重点是识别 性能瓶颈,即硬件资源达到极限并阻碍你的 PC 性能的情况。
我们知道SSD是一场存储革命,设计和制造一个好的SSD固然重要,但如何正确使用以充分发挥SSD性能同样重要。SSD内在的并行性和先擦再写的特性决定了它不同于机械硬盘简单的LBA和存储块一一对应,要充分挖掘SSD的并行性,提升性能,延长寿命,缩短延迟,就必须在上层应用做出改动。很多SSD的使用大户都作出了这种尝试,从国外的Google,Microsoft,Facebook,到国内的Baidu,Alibaba等,本站就曾经介绍过百度的软件定义闪存,把对象存储和SSD内部结构统一起来使用。但对大部分企业来讲,这种结构还是太独特了,我们还是要关注通用的架构,首先来了解离硬盘最近的软件:文件系统。本系列文章将以Linux系统最常见的EXT4文件系统为例,从SSD爱好者的角度来揭开文件系统的庐山真面目。
说到美光科技大家一定都不陌生,其内存以及闪存产品在国内拥有不少的市场份额,reizhi 的第一块固态硬盘便是英睿达 M4。不过少有人知的是,除了英睿达品牌外,美光也有同名品牌的 SSD 产品线,主要服务于企业产品线。近日 reizhi 就通过海淘途径购入了一块美光 Micron 1100 2TB,作为美光品牌的首款消费级 3D NAND 产品,我们不妨来看看它的性能表现。
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。
服务器性能测试是一项非常重要而且必要的工作,本文是作者Micheal在对服务器进行性能测试的过程中不断摸索出来的一些实用策略,通过定位问题,分析原因以及解决问题,实现对服务器进行更有针对性的优化,提升服务器的性能。
备注:早些年磁盘每个磁道扇区数量相同,可以用上面的公式计算磁盘容量;现代磁盘每个磁道扇区数量不同,故上面的磁盘容量计算公式已经不适用。
外存储器(External Storage or Secondary Storage)指的是除了计算机的主存储器(通常是RAM)之外用于存储数据和程序的设备。与主存相比,外存储器提供了更大的存储容量和持久存储能力,但访问速度较慢。外存储器主要用于保存不需要立即访问的数据,以及在系统关闭后仍需要保留的信息。
如果你觉得这些问题都很简单,都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的,你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题,那么就耐心地读完这篇文章,相信不会浪费你的时间。受限于个人时间和文章篇幅,部分议题如果我不能给出更好的解释或者已有专业和严谨的资料,就只会给出相关的参考文献的链接,请读者自行参阅。
单个IO大小 | 寻道时间(ms) | 旋转延迟(ms) | c传输时延(ms) | IO服务时间(ms) | IOPS
维持了 20 天的复赛终于告一段落了,国际惯例先说结果,复赛结果不太理想,一度从第 10 名掉到了最后的第 36 名,主要是写入的优化卡了 5 天,一直没有进展,最终排名也是定格在了排行榜的第二页。痛定思痛,这篇文章将自己复赛中学习的知识,成功的优化,未成功的优化都罗列一下。
Bcache是Linux内核块设备层cache,支持多块HDD使用同一块SSD作为缓存盘。它让SSD作为HDD的缓存成为了可能。由于SSD价格昂贵,存储空间小,而HDD价格低廉,存储空间大,因此采用SSD作为缓存,HDD作为数据存储盘,既解决了SSD容量太小,又解决了HDD运行速度太慢的问题。
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
如果想要搭建自己的计算平台,首先要购买服务器,本节内容我们将介绍服务器硬件相关的内容。前面介绍过计算资源无上限要求,要满足最低下限要求。而且服务器具有较大的扩展性,可以根据实际情况进行扩展。而且服务器都是模块化的,根据自己的预算,选择适合自己的设备。
在SAN存储系统中,LIO是把存储设备直接转化为可用存储资源的高效工具,它实现了基于文件/块设备/ramdisk甚至回环设备创建存储设备的iscsi
之前文章《Linux服务器性能评估与优化(一)》太长,阅读不方便,因此拆分成系列博文:
从机械硬盘到SSD硬盘的升级,让无数PC用户感受到什么叫“丝滑流畅”。然而,使用一段时间以后,总会感到你的SSD有如下变化: 同样使用环境下,同款测试软件测得的磁盘性能降低;磁盘写入速度出现大起大落的速度波动; 启动、载入程序、文件的速度没有刚买时候流畅了;各种各样的系统运行迟滞感不断产生。 到底是什么原因导致上述情况呢?其实原因很简单,抛开硬件故障因素之外,主要有以下三点: 1、固态硬盘写入逻辑 SSD的数据写入方式不同于传统机械硬盘,崭新的SSD硬盘(也就是空盘)在进行测试、数据写入时,NAND芯片是空置的,可以直接写入,因此速度是最快的。 然而,在硬盘使用一段时间、尤其是写入大量数据之后,新载入的数据则需要由SSD主控进行可删除数据判断,然后进行空间擦除——复写流程,因此导致SSD使用后期的写入速度降低。为此,厂商会根据自家NAND、主控方案搭配不同的TRIM类技术。
最近,留意到 MinIO 官方博客的一篇题为“在对象存储上实现 POSIX 访问接口是坏主意”的文章,作者以 S3FS-FUSE 为例分享了通过 POSIX 方式访问 MinIO 中的数据时碰到了性能方面的困难,性能远不如直接访问 MinIO。在对结果进行分析时,作者认为是 POSIX 本身存在的缺陷导致的性能问题。这个结论与我们既有经验有一定出入。
机器之心报道 编辑:泽南、张倩 涨价 1500 元,你获得了更长时间的续航,更好的屏幕,更小的体积…… 但硬盘却降级了。 6 月 7 日,苹果在 WWDC 大会上推出的 M2 芯片成为了今年为数不多被热烈讨论的芯片。很多人都希望在苹果第一代 Arm 电脑试错之后购买第二代产品,然而在实际测试后,一些信息让我们开始犹豫。 此前已有多位评测者反映,由于电脑中存储型号的配置差异,苹果提供的入门级 M2 MacBook Pro 的 SSD 固态硬盘速度明显慢于 M1 版 MacBook Pro。 Max Tec
上篇文章介绍了机械硬盘和固态硬盘:硬盘的各种概念。在文章里有说到固态硬盘只有一种访问方式,不管是顺序读写还是随机读写,SSD都没有寻址时间。但是有朋友来讨论固态硬盘的顺序和随机访问的速度问题,有一些矛盾点。今天就把事情说明白。
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的,其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版,包括:
计算机存储技术是指用于存储数据和指令的各种技术。这些技术可以分为两大类:主存储技术和辅助存储技术。主存储技术通常指的是随机存取存储器(RAM)和只读存储器(ROM),而辅助存储技术包括硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器和磁带等。
早期电脑中软驱占用了A、B两个盘符,所以硬盘的盘符就从C开始。C盘、D盘这些都是DOS和Windows延续下来的概念,是为了方便文件的管理,在Linux系统中并没有“盘符”这种东西。
摘要:同时使用Linux和Windows平台产品,大量使用静态的方法和类,Stack Overflow是个重度性能控。同时,取代横向扩展,他们坚持着纵向扩展思路,因为“硬件永远比程序员便宜”。 StackOverflow是一个IT技术问答网站,用户可以在网站上提交和回答问题。当下的StackOverflow已拥有400万个用户,4000万个回答,月PV5.6亿,世界排行第54。然而值得关注的是,支撑他们网站的全部服务器只有25台,并且都保持着非常低的资源使用率,这是一场高有效性、负载均衡、缓存、数据库、搜索
有关Windows磁盘性能压测,笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然,如果要使用其他磁盘性能压测工具也是可以的,比如:IOMeter(老牌经典)、FIO(更适合Linux)等。
高性能的服务器,不一定是多线程实现的,也就是说多线程不一定比单线程效率高,这得分具体的情况。以redis为例,核心处理请求的线程只有一个,所以我们常常理解其仅仅只有一个线程,但准确来说其实并不是单线程的,比如日志的备份需要单独的fork一个进程或者线程去做备份等,那么redis何来单线程还能达到如此10万+的qps呢?其实这取决于具体的实现,redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块,决定了其性能高的原因。
领取专属 10元无门槛券
手把手带您无忧上云