学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。
由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
tc(Traffic Control) 是linux系统中常用的来控制传输速率、模拟网络延时丢包等场景的工具，tc命令有三个主要的概念，是qdisc、class和filter，qdisc又分为classless qdisc和classful qdisc，在控制传输速度的方面大致有两种用法
写入速度使用命令：time dd if=/dev/zero of=/tmp/test.dat bs=1G count=1
这是 Linux 性能分析系列的第三篇，前两篇分别讲了 CPU 和 内存，本篇来看 IO。
有时候我们在做维护的时候，总会遇到类似于IO特别高，但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度，来进行下一步的决策.
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
在Linux环境中，了解存储/磁盘I/O性能对于评估系统性能和优化存储子系统非常重要。通过测试存储/磁盘I/O性能，我们可以确定磁盘的读写速度、延迟和吞吐量等指标。本文将介绍几种常用的方法来测试Linux机器中的存储/磁盘I/O性能。
目前 CPU 的处理性能越来越强，目前单颗 CPU 已经可以达到 128 线程。CPu 高速计算，内存也有着较高的读写速度，但与此同时，硬盘设备的性能提升却不是很大，逐渐成为计算机整体性能的瓶颈。并且生物数据往往都比较大，动辄就达到数 Tb 的数据。由于硬盘设备需要进行持续、频繁、大量的 IO 操作，相较于其他设备，其损坏机率也大幅增加，导致重要数据丢失的机率也随之增加。因此，服务器的磁盘配置非常重要。
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
文件是存储在磁盘上的，文件的读写访问速度受限于磁盘的物理限。如果才能在1 分钟内完成 100T 大文件的遍历呢？
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
很多使用过 Kafka 的网友都在鼓吹，Kafka 可以吊打一切其它 MQ。也造成了很多网友都觉得 Kafka 才是牛逼哄哄的存在，给很多在技术选型方面的人造成了误导。
个人博客纯净版：https://www.fangzhipeng.com/db/2019/09/10/linux-disc.html
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
linux内存管理卷帙浩繁，本文只能层层递进地带你领略冰山轮廓，通过本文你将了解到以下内容：
现在磁盘最常用的可简单分为普通的机械盘和SSD(Solid-state drive或Solid-state disk)两种，他们都已不同的接口协议和主板链接，在了解命令之前，我们先来看下，现在服务器磁盘的接口协议。这样可以更好的了解磁盘。
上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
很多小伙伴对swap分区（内存数据换入换出）这个名词可能不陌生，有了这个技术，系统才能实现承载计算机内存总量的多进程运行。操作系统会把暂时不用的内存数据写到磁盘等其他存储中，以此来释放更多的内存空间执行当前需要更多内存的进程。但是换入换出过度频繁时虽然可能不发生进程申请不到内存而导致失败的问题，但却在一定程度上降低了进程执行的效率，毕竟内存与磁盘读写速度相差几个数量级，那么是否有其他技术能解决内存数据换入换出速度过慢的问题。这也是为什么安装k8s的机器上推荐关闭swap的原因，如果内存不足就直接暴漏出来，而不是遮遮掩掩。
blkio 是 cgroup v1 中的一个子系统，使用 cgroup v1 blkio 子系统主要是为了减少进程之间共同读写同一块磁盘时相互干扰的问题。
解决系统性能问题的一般思路 下面从影响操作系统性能的因素、性能优化工具、系统性能评价标准三个方面介绍优化Linux的一般思路和方法。 影响Linux性能的因素 1．CPU CPU是操作系统稳定运行的根本，CPU的速度与性能很大一部分决定了系统整体的性能，因此，cpu数量越多、主频越高，服务器性能也就相对越好。但事实也并非完全如此。 目前大部分CPU在同一时间内只能运行一个线程，超线程的处理器可以在同一时间运行多个线程，因而，可以利用处理器的超线程特性提高系统性能，在linux系统下，只有运行SMP内核
小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
在 Linux 系统（比如 CentOS/RadHat、Debian/Ubuntu）上配置 lnmp环境，通过探针查看物理内存使用率：
看了上面的基本过程后，相信大家可以理解了，如果我们要操作磁盘读写的话，就是告诉磁盘控制器关于柱面、磁头、扇区、缓 存位置，然后是读还是写，剩下的由磁盘控制器完成。
介绍一个新概念，RAID，这也是大学的时候的学的东西了，一直很少在工作中使用，有点忘记，今天复习更新一下。分享给大家。 保存数据安全，大家都知道备份。 数据安全其中一个是物理上的方法。就是raid。 RAID 简介 独立硬盘冗余阵列（RAID, Redundant Array of Independent Disks），旧称廉价磁盘冗余阵列（Redundant Array of Inexpensive Disks），简称磁盘阵列。其基本思想就是把多个相对便宜的硬盘组合起来，成为一个硬盘阵列组，使性能达
Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql、php等等，开源软件的最大理念是自由、开放，那么linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是linux操作系统和应用程序的最佳结合。
作者：Linux云计算架构 链接：https://mp.weixin.qq.com/s/r8SvHyPKWUG1AwRIn9ah5w
硬盘的种类主要是SCSI 、IDE 、以及现在流行的SATA等；任何一种硬盘的生产都要一定的标准；随着相应的标准的升级，硬盘生产技术也在升级；比如 SCSI标准已经经历了SCSI-1 、SCSI-2、SCSI-3；其中目前咱们经常在服务器网站看到的 Ultral-160就是基于SCSI-3标准的；IDE 遵循的是ATA标准，而目前流行的SATA，是ATA标准的升级版本；IDE是并口设备，而SATA是串口，SATA的发展目的是替换IDE；
为何更改为 4096 字节扇区？ 如果您熟悉磁盘结构，就知道磁盘是被分解成扇区 的，大小通常是 512 字节；所有读写操作均在成倍大小的扇区中进行。仔细查看，就会发现硬盘事实上在扇区之间包括大量额外数据，这些额外字节由磁盘固件使用，以检测和纠正每个扇区内的错误。随着硬盘变得越来越大，越来越多的数据需要存储在磁盘的每一单位面积上，导致更多低级别错误，从而增加了固件纠错功能的负担。 解决该问题的一个方法是将扇区大小从 512 字节增加为更大的值，以使用功能更强大的纠错算法。这些算法可使每个字节使用较少的数据，从
服务器性能测试是一项非常重要而且必要的工作，本文是作者Micheal在对服务器进行性能测试的过程中不断摸索出来的一些实用策略，通过定位问题，分析原因以及解决问题，实现对服务器进行更有针对性的优化，提升服务器的性能。
当一台服务器需要较大存储空间时，由于单块磁盘的空间容量相对较小，那么则需要连接多块磁盘。但是我们知道，一般计算机上的磁盘接口只有2-4块，服务器的磁盘接口可能有4-8块，不管怎样，接口数总是较少的。当需要连接更多磁盘时，则需要外界设备的辅助，磁盘阵列就是最常用的外界设备之一。
这本书是个人看过的讲操作系统底层里面讲的最通俗易懂的了，但是200多页的内容确实讲不了多深的内容，所以不要对这本书抱有过高期待，当一个入门书了解即可。
GNU计划（又称革奴计划），是由Richard Stallman（理查德·斯托曼）在1983年9月27日公开发起的自由软件集体协作计划。它的目标是创建一套完全自由的操作系统。GNU也称为自由软件工程项目。
原文链接：http://7424593.blog.51cto.com/7414593/1744358
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
高性能的服务器，不一定是多线程实现的，也就是说多线程不一定比单线程效率高，这得分具体的情况。以redis为例，核心处理请求的线程只有一个，所以我们常常理解其仅仅只有一个线程，但准确来说其实并不是单线程的，比如日志的备份需要单独的fork一个进程或者线程去做备份等，那么redis何来单线程还能达到如此10万+的qps呢？其实这取决于具体的实现，redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块，决定了其性能高的原因。
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
dd 是 Linux/UNIX 下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。
无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能（好简单的样子），一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。
CPU是操作系统稳定运行的根本，CPU的速度与性能在很大程度上决定了系统整体的性能，因此，CPU数量越多、主频越高，服务器性能也就相对越好。但事实上并非完全如此。
在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write() 方法把缓存中的数据输出到网络端口。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
