我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
mmap是linux中提高文件读写效率的一种手段，这里简单整理一下mmap的原理和使用。
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
tc(Traffic Control) 是linux系统中常用的来控制传输速率、模拟网络延时丢包等场景的工具，tc命令有三个主要的概念，是qdisc、class和filter，qdisc又分为classless qdisc和classful qdisc，在控制传输速度的方面大致有两种用法
电流通过导体时，会在导体的周围会产生感应磁场。感应磁场的磁极随电流方向的改变而改变。
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
3.性能最大化，redis开始持久化时，分叉出进程，由子进程完成持久化的工作 ，避免服务器进程执行I/O操作，启动效率高
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
前言 在上一篇中，我们学习了POSIX在<fcntl.h>帮助下的文件读写操作。主要使用write和read两个方法，以文件流的形式，进行读写。这一方法固然没有问题。但由于每次都需要I/O操作，在高频读写的场景，可能就会捉襟见肘了。 Linux为我们提供了mmap来解决这个场景下的问题。 基础知识 mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而
这一年多的时间里，hdfs源码（原理）分析累计也写了30多篇文章了，来一篇文章进行汇总。这篇文章将按照自己的理解来系统的梳理下，应该如何系统的学习hdfs。
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
在现今的数据驱动世界中，数据持久化成为了一项至关重要的任务。它不仅需要保证数据的安全，还要提供快速读写的功能。
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现了文件磁盘地址和进程虚拟地址的映射关系。实现映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read，write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
硬盘的物理结构是比较复杂的，这里我们只需要知道最常用到的几个术语即可，也就是chs寻址中所涉及到的结构
MMKV的出现是为了替代SharedPreferences的轻量级存储解决方案。SharedPreferences需要被替换的原因主要是存在下述问题：
1、进程在用户空间调用库函数mmap，原型：void mmap(void addr, size_t len, int prot, int flags,
但缓存真的那么好吗？架构师在构建高性能系统时，是不是必须增加缓存组件？缓存是不是多多益善？
某月黑风高之夜，某打车平台上线了一大波（G+）优惠活动，众人纷纷下单。于是乎，该打车平台使用的智能提示服务扛不住直接趴窝了（如下图）。事后，负责智能提示服务开发和运维的有关部门开会后决定：必须对智能提示服务进行一次全面深入的性能摸底，立刻！现在！马上！ 那么一大坨问题就迎面而来：对于智能提示这样的后台服务，性能测试过程中应该关心那些指标？这些指标代表什么含义？这些指标的通过标准是什么？下面将为您一一解答。 概述 不同人群关注的性能指标各有侧重。后台服务接口的调用者一般只关心吞吐量、响应时间等外部指标。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
你的网站加载时间太长了吗？你听说过固态硬盘服务器托管吗？它可以使你的网页加载速度提高20%
AOF（Append Only File）文件是Redis的持久化方式之一，用于将所有写操作追加到文件中，以保证数据的持久性。
HDFS: 存储格式Textfile,Parquet,ORC，适合离线分析，不支持单条记录级别的update操作，随机读写性能差。
磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存 10 倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接 I/O、异步 I/O 等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区，可以有效的减少磁盘的访问次数。
http://www.cnblogs.com/Anker/p/3265058.html
在当今数据驱动的时代，Apache Kafka作为一个高吞吐量的分布式流处理平台，在处理大数据和实时数据流方面扮演着关键角色。Kafka之所以能够在众多技术中脱颖而出，归功于其一系列精心设计的性能优化策略。在本文中，我们将重点探讨Kafka中两个最具影响力的设计决策：顺序I/O的运用和零拷贝原则。
cgroup还有其他一些限制特性，如io，pid，hugetlb等，这些用处不多，参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage，cgroup的io介绍参考Cgroup - Linux的IO资源隔离
块设备驱动块是Linux下3大设备驱动框架之一，块设备主要是针对存储类型的设备设计的驱动，配合文件系统完成数据存储。在应用层的cp、cd、touch、vim、mount等等可以操作文件，可以操作目录的命令都会通过文件系统，通过块设备驱动完成对底层存储设备的访问，实现数据读取或者写入。
计算机系统中的存储系统指的是用于存储和访问数据的硬件和软件组件。存储系统的主要目的是提供计算机系统运行所需的数据和程序的长期存储和快速访问。
终于开始写java对文件进行操作的这一篇内容了，因为从去年都说我去写一篇关于IO文件流操作的文章，但是，却拖到了今天去写，是的，下班的时候去写的，正好明天可以休息了，所以就加个班写这篇文章吧，以后我就不写了，因为我想写的文章终于暂时告一段落了。
网络I/O，可以理解为网络上的数据流。通常我们会基于socket与远端建立一条TCP或者UDP通道，然后进行读写。单个socket时，使用一个线程即可高效处理；然而如果是10K个socket连接，或者更多，我们如何做到高性能处理？
DMA 的全称叫直接存储器访问（Direct Memory Access），是一种允许外围设备（硬件子系统）直接访问系统主内存的机制。
小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
这部分内容主要回答我们在文章开头提到的第二个问题。第二个问题展开其实是一连串的问题。例如：lsm派系难道只有lsm tree这一类存储模型吗？如果答案是否定的，那么除了lsm tree存储模型外，还有哪些lsm 模型？这些模型之间又有哪些相同点和差异点？
零拷贝是中间件相关面试中必考题，本文就和大家一起来总结一下NIO拷贝的原理，并结合Netty代码，从代码实现层面近距离观摩如何使用java实现零拷贝。
shuffle中环形缓冲区使用于map shuffle阶段存放map的缓存数据，当缓冲区的数据达到一定比率（80%）就会将缓冲区的数据刷写到磁盘文件中，在刷盘之前，会对数据分区、排序、合并，对缓冲区的操作是边写入边读取的过程，二者互不影响，提升写入的速率，读写过程就是一个生产者、消费者模式，生产者向环形缓冲区中写入数据，消费者从环形缓冲区中读取数据并且写入磁盘。环形缓冲区在物理上是一组连续的空间地址，在逻辑上是首尾相连的环形空间，通过使用下标实现环形，初始read=write=index=0,read下一个读取位置，write下一次写入位置，index 刷盘的结束位置，每一次写入write++,当缓存达到一定比率，执行读取线程开启，将index=write,那么将读取read~index-1区间的数据写入磁盘，此时write继续接受数据写入，当数据读取完read=index,继续进行下一次读取操作，需要注意当下标达到临界点即缓冲区数组的大小时需要进行下标索引的转换，例如当read=array.length,需要read=0。
本文转自：https://www.cnblogs.com/huxiao-tee/p/4660352.html
我们通常将 Redis 作为缓存使用，提高读取响应性能，一旦 Redis 宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到 MySQL 可能会带来更加严重的问题。
在实际的性能测试中，会遇到各种各样的问题，比如 TPS 压不上去等，导致这种现象的原因有很多，测试人员应配合开发人员进行分析，尽快找出瓶颈所在。
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
文件系统是操作系统中负责管理持久数据的子系统，说简单点，就是负责把用户的文件存到磁盘硬件中，因为即使计算机断电了，磁盘里的数据并不会丢失，所以可以持久化的保存文件。
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别？ 》不知道大家还有印象没有，里面提到了在工作中可能需要等上Linux服务器，查看一些信息（特别是查日志找Bug)。
IO类型 同步与异步(synchronous,asynchronous)：关注消息通知机制 同步: 进程发出系统调用之后，不会立即有返回信息，但是一旦有返回信息，则一定是最终结果. 异步: 进程发出系统调用之后，会有立即返回结果，但不是最终的结果，当内核处理完成之后，内核通过通知机制通知进程,该系统调用已完成. 阻塞与非阻塞(blocking,nonblocking)：关注系统调用完成时,调用者的状态 阻塞: 调用者在返回结果之前，一直处于被挂起状态，直到有调用结果返回时才能继续工作. 非阻塞: 调用者在调
同步、异步、阻塞、非阻塞都是和I/O（输入输出）有关的概念，最简单的文件读取就是I/O操作。而在文件读取这件事儿上，可以有多种方式。
这里重点关注的不在是各个功能的具体实现了，而是主程序中通过查表得到每个子程序开始的地址，这个操作是如何完成的
最近一位小伙伴去某滴面试，在第二面的时候遇到了这个问题：说”请你简单说一下，Kafka为什么这么快？“，然后，这位小伙伴努力在大脑里检索了很久，没有回答上来。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
