小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
在解释磁盘读写慢之前，我们首先要了解它底层到底是个什么东西，数据到底是如何存储在物理设备上面，是以一个什么的形式存在。所以我们先来了解一下：磁盘究竟是什么，是用什么介质来存储数据的，数据在介质中的形式是什么样的？
Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql、php等等，开源软件的最大理念是自由、开放，那么linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是linux操作系统和应用程序的最佳结合。
作者：Linux云计算架构 链接：https://mp.weixin.qq.com/s/r8SvHyPKWUG1AwRIn9ah5w
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟。本文属于Kafka知识扫盲系列，让我们一起掌握Kafka各种精巧的设计。
外存储器（External Storage or Secondary Storage）指的是除了计算机的主存储器（通常是RAM）之外用于存储数据和程序的设备。与主存相比，外存储器提供了更大的存储容量和持久存储能力，但访问速度较慢。外存储器主要用于保存不需要立即访问的数据，以及在系统关闭后仍需要保留的信息。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。
上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
Redis 通常是我们业务系统中一个重要的组件，比如：缓存、账号登录信息、排行榜等。
MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。 MySQL监控MySQL服务器硬件和OS（操作系统）调优： 1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存里，而不是在磁盘上，InnoDB会快很多。 2、全力避免 Swap 操作 — 交换（swapping）是从磁盘读取数据，所以会很慢。 3、使用电
原文：http://www.monitis.com/blog/101-tips-to-mysql-tuning-and-optimization/ MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。 Mysql 监控 MySQL服务器硬件和OS（操作系统）调优： 1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:
从库严重严重落后于主库,读写分离业务失真,基于从库做的报表数据出不来以及基于从库做的数据探查失效。
https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/
概述 盘片（platter） 磁头（head） 磁道（track） 扇区（sector） 柱面（cylinder） 盘片 片面 和 磁头 硬盘中一般会有多个盘片组成，每个盘片包含两个面，每个盘面都对应
生产环境需考量各种因素，结合自身业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦）
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
这本书是个人看过的讲操作系统底层里面讲的最通俗易懂的了，但是200多页的内容确实讲不了多深的内容，所以不要对这本书抱有过高期待，当一个入门书了解即可。
在实际的性能测试中，会遇到各种各样的问题，比如 TPS 压不上去等，导致这种现象的原因有很多，测试人员应配合开发人员进行分析，尽快找出瓶颈所在。
相比机械磁盘固态磁盘有更好的随机读写性能，相比机械磁盘固态磁盘有更好的并发支持，相比机械磁盘固态磁盘更容易损坏
缓冲I/O是指通过标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。带缓存I/O也叫标准I/O，它符合ANSI C的标准I/O处理，是不依赖系统内核的，所以移植性是比较强的，在使用标准I/O操作的时候为了减少对read()、write()系统调用次数，带缓存I/O就是在用户层再建立一个缓存区，这个缓存区的分配和优化长度等细节都是标准I/O库处理好的，用户不用去关心。
比如进程的代码段、映射的文件都是file-backed，而进程的堆、栈都是不与文件相对应的、就属于匿名页。
我是CPU, 他们都叫我阿甘， 因为我和《阿甘正传》里的阿甘一样， 有点傻里傻气的。
假设这里文件在磁盘上都是连续存放的，此时有一个test.c文件，占据了6,7,8三个盘块的位置。
2）有时候出去面试，明明感觉和面试官聊的很好，但面试完成后就没有后续，是否有过疑惑，这是why？
linux内存管理卷帙浩繁，本文只能层层递进地带你领略冰山轮廓，通过本文你将了解到以下内容：
一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的，它是随着用户量的增加，基础架构才逐渐完善。这篇文章主要谈谈MySQL数据库在发展周期中所面临的问题及优化方案，暂且抛开前端应用不说，大致分为以下五个阶段：
vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。
[TOC] 0x01 基础信息 描述:本文主要针对以下方面的进行记录学习 (1) 对象存储、文件存储和块存储介绍与区别? (2) 0x02 多种存储类型差异 Q:对象存储、文件存储和块存储介绍?
生产者发送消息有负载均衡。生产者发送消息时，会自动轮询当前所有可发送的broker，一条消息发送成功，下次换另外一个broker发送，以达到消息平均落到所有的broker上。
硬盘的种类主要是SCSI 、IDE 、以及现在流行的SATA等；任何一种硬盘的生产都要一定的标准；随着相应的标准的升级，硬盘生产技术也在升级；比如 SCSI标准已经经历了SCSI-1 、SCSI-2、SCSI-3；其中目前咱们经常在服务器网站看到的 Ultral-160就是基于SCSI-3标准的；IDE 遵循的是ATA标准，而目前流行的SATA，是ATA标准的升级版本；IDE是并口设备，而SATA是串口，SATA的发展目的是替换IDE；
在我的文章《使用开源工具识别 Linux 性能瓶颈》中，我解释了一些使用开源的图形用户界面（GUI）工具监测 Linux 性能的简单方法。我的重点是识别 性能瓶颈，即硬件资源达到极限并阻碍你的 PC 性能的情况。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
Linux 编程中可以更为明显地看出）。在 Linux 下与设备相关的文件一般都在/dev 目录下，它包括两种，一种是块设备文件，另一种是字符设备文件。这就涉及到文件系统，以下介绍以下Linux文件系统。
创造一个分布式的实时流处理平台，也正是因为这个原因，Kafka选择了将日志分区和消费者群组模型。
CPU是操作系统稳定运行的根本，CPU的速度与性能在很大程度上决定了系统整体的性能，因此，CPU数量越多、主频越高，服务器性能也就相对越好。但事实上并非完全如此。
当我们碰到数据库响应慢的时候，除了数据库自己的问题，磁盘读写可能是其中一个值得怀疑的因素，此时就可以用dd来测试磁盘的读写速度。
存储，是我们码农每天都要打交道的事情，而当我们面对RAID，SAN，对象存储，分布式数据库等技术的时候，又往往似是而非，存储成了我们熟悉的陌生人。
硬盘是计算机中最重要的存储设备，负责永久性数据存储。目前常用的硬盘分为机械硬盘和固态硬盘两种，相比来说，固态硬盘速度快但是容量较小，价格高；机械硬盘速度慢但是容量大，价格便宜。
现在我们就来看看在生产环境中的 Kafka 集群规划该怎么做。既然是集群，那必然就要有多个 Kafka 节点机器，因为只有单台机器构成的 Kafka 伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。
信息安全公益宣传，信息安全知识启蒙。 运维工程师在前期是一个很苦逼的工作，在这期间可能干着修电脑、掐网线、搬机器的活，显得没地位！时间也很碎片化，各种零碎的琐事围绕着你，很难体现个人价值，渐渐的对行业很迷茫，觉得没什么发展前途。 这些枯燥无味工作的确会使人匮乏，从技术层面讲这些其实都是基本功，对后期的运维工作会无形中带来一定的帮助，因为我也是这么过来的，能深刻体会到。所以在这个时期一定要保持积极向上的心态，持续的学习。在未来的某一天，相信会回报给你的！ 好了，进入正题，根据我多年的运维工作经验，给大家
对于一个即将踏上“系统运维”或者更加高大尚的工作“系统调优”，如果这不跟这两哥们搞好关系了，坑的不只有内存，更坑的是你拿着调优的钱却干着随时被调的活。因为作为一个系统运维人员来说监控和优化IO性能这是最有可能你生存下来的技能，为啥呢？因为你不仅给老板省了钱，还提高了机器的工作效率。。虽然钱都进了老板兜里，但你渐渐地植入了他深深地脑海里，总有一天你比钱重要！好了闲话少扯，接下来说说这两个哥们到底是什么？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
