导读可以了解到 Buffer 和 Cache 的区别传统 IO 模型中对 Buffer 和 Cache 的使用Linux 的 PageCache 和 BufferCahe 是什么以及它们的关系起因事情起因源于在知乎看到一篇问答...Linux 的 PageCache 和 BufferCahe以前在各种文章中经常看到 PageCache 和 BufferCahe 两个概念，但具体是什么不是很了解，趁着上面这个问题就一起进行了简单了解...实际上 PageCache 和 BufferCahe 实际上是 Linux 文件系统发展中不同时期的产物。...仅有 Buffer Cache在Linux-0.11版本的代码中，buffer cache是完全独立的实现，甚至都还没有基于page作为内存单元，而是以原始指针的系形式出现。...其访问模式与上面Linux-0.11版本的访问逻辑基本类似。
我使用如下的命令做了一个测试 echo 1 > /proc/sys/vm/drop_caches 只释放了pagecache，发现大量的空间被释放 [image.png] 这就很明显，只是pagecache...Dirty: 1796 kB ... dirty使用量很小，所以我判断，pagecache巨大无比只是大量的读操作引发的。...### 可调节的参数 手动强制释放echo 1 > /proc/sys/vm/drop_cachesvm.pagecache_limit_async = 0 vm.pagecache_limit_ignore_dirty...= 1 vm.pagecache_limit_ratio = 0 vm.pagecache_limit_reclaim_ratio = 0可以通过vm.pagecache_limit_ratio和vm.pagecache_limit_reclaim_ratio...来进行限制sysctl -w vm.pagecache="40" echo vm.min_free_kbytes=1024 >> /etc/sysctl.conf当然，如果是其他情况，比如是写文件导致的
这就很明显，只是pagecache占用的很多的内存。 文件的操作无非读写 cat /proc/meminfo ......Dirty: 1796 kB ... dirty使用量很小，所以我判断，pagecache巨大无比只是大量的读操作引发的。...= 0 #0 同步方式回收pagecache，回收比较精确，有系统开销；1 异步方式回收，回收不精确，系统开销小 vm.pagecache_limit_ignore_dirty = 1 #是否忽略脏页...vm.pagecache_limit_ratio = 0 #0-100 pagecache的总大小所占总内存的百分比 vm.pagecache_limit_reclaim_ratio = 0 #避免多次回收...，拉长的比例，默认建议比上个参数多2% 可以通过vm.pagecache_limit_ratio和vm.pagecache_limit_reclaim_ratio来进行限制 老的内核 sysctl -w
文章目录 PageCache磁盘高速缓存 在线地址 PageCache磁盘高速缓存 ---- 在线地址 图都在processon上画好了， 点击这里
PageCache PageCache是系统级别的缓存，它把尽可能多的空闲内存当作磁盘缓存使用来进一步提高IO效率，同时当其他进程申请内存，回收PageCache的代价也很小。...当上层有写操作时，操作系统只是将数据写入PageCache，同时标记Page属性为Dirty。当读操作发生时，先从PageCache中查找，如果发生缺页才进行磁盘调度，最终返回需要的数据。...PageCache同时可以避免在JVM内部缓存数据，避免不必要的GC、以及内存空间占用。...PageCache中的数据会被内核中的处理线程采用同步或异步的方式写回到磁盘。...Consumer消费消息时，会先从PageCache获取消息，获取不到才回去磁盘读取，并且会预读出一些相邻的块放入PageCache，以方便下一次读取 如果Kafka producer的生产速率与consumer
基于Linux开源社区一众贡献者的多年打磨迭代，Linux的文件系统早已在PageCache做了大量的优化和填坑，且还会持续优化，这无异于为kafka的缓存模块提供的强大助力。...，全部由系统接管完成 3.kafka 数据读写 3.1.读写接力 Linux系统会把还没应用程序申请走的内存挪给PageCache使用，此时，当写入数据时，会先写入PageCache中，并标记为dirty...读取数据时，会先再PageCache中查询，如果有就快速返回，没有才会去磁盘读取回写到PageCache中。...3.2.异步 flush 数据落盘 由于kafka调用的是系统的PageCache，所以这里讲的kafka数据flush其实就是Linux内核的后台异步flush。...Linux通过配置/proc/sys/vm/min_free_kbytes的值，来优化系统开始回收内存的阈值。
要了解 blkio cgroup 的限速逻辑，需要先了解下 Linux 的写文件流程。...Linux 写文件流程 上图是 Linux 写文件的一个流程图，图中主要包含三块，用户层、内核层、硬件层，Linux 在写文件时要经过系统调用、VFS、PageCache、文件系统、通用块管理层、IO...Buffered I/O 是先写入到 PageCache 再走后面的流程将数据写入磁盘，而 Direct I/O 会绕过 PageCache 直接走后面的流程。...Linux 中应用程序对文件读写时默认是以 Buffered I/O 的形式写入的，此时并不需要经过通用块管理层，只需写入到 PageCache 即可，所以无法被限速，但 PageCache 中的数据总是要经过通用块管理层写入到磁盘的...这时应用程序感受不到自己被限速了，而内核在将数据从 PageCache 同步到磁盘阶段，由于 PageCache 中没有具体 cgroup 关联信息，所以所有 PageCache 的回写只能放到 cgroup
1. free命令 Linux中查看内存的命令为free，命令如下： $ free -h total used free shared...Linux中的缓存分类 要清理Linux中的cache，首先要明白buff和cache的区别(free中的buff/cache)，以及pagecache，dentries和inodes的区别。...pagecache 页面缓存（pagecache）可以包含磁盘块的任何内存映射。这可以是缓冲I/O，内存映射文件，可执行文件的分页区域——操作系统可以从文件保存在内存中的任何内容。...linux有一个守护进程定期清空缓冲内容（即写入磁盘），也可以通过sync命令手动清空缓冲。 3..../proc/sys/vm/drop_caches中的默认值为0，值为1时表示可以释放pagecache缓存，值为2时可以释放pagecache和inode缓存，值为3时可以释放pagecache, dentries
---- 解决方案 在 Linux 内核版本 2.1 中，提供了一个专门发送文件的系统调用函数 sendfile()，函数形式如下： #include ssize_t sendfile...于是，从 Linux 内核 2.4 版本开始起，对于支持网卡支持 SG-DMA 技术的情况下， sendfile() 系统调用的过程发生了点变化。...在传输大文件（GB 级别的文件）的时候，PageCache 会不起作用，那就白白浪费 DMA 多做的一次数据拷贝，造成性能的降低，即使使用了 PageCache 的零拷贝也会损失性能。...； PageCache 中的大文件数据，由于没有享受到缓存带来的好处，但却耗费 DMA 多拷贝到 PageCache 一次； 所以，针对大文件的传输，不应该使用 PageCache，也就是说不应该使用零拷贝技术...，因为可能由于 PageCache 被大文件占据，而导致「热点」小文件无法利用到 PageCache，这样在高并发的环境下，会带来严重的性能问题。
Socket缓冲区，这一步需要借助CPU 最后再借助DMA将Socket缓冲区的数据拷贝到网卡缓冲区里 mmap + write的实现方式需要3次数据拷贝和4次上下文切换 sendfile sendfile是Linux...在Linux内核2.4y以后，对于网卡支持SG-DMA技术的情况下，sendfile系统调用的过程也发生了变化： 首先通过DMA拷贝将磁盘的数据拷贝到内核缓冲区 第二步，将缓冲区描述符和数据长度传到Socket...PageCache是什么？ 在我们上面一直提到一个内核缓冲区，该内核缓冲区就是PageCache（磁盘高速缓存）。 PageCache的优点？...PageCache存在于内存中，读写内存速度远远快于读写磁盘速度 根据程序局部性规则，刚刚访问的数据在短时间内被访问的概率很高，因此PageCache缓存了最近被访问的数据，当读磁盘数据时，优先在PageCache...-64kb的内容也读取到PageCache，这样对于读取后续的数据成本就会变低 PageCache的缺点？
sendfile 在 Linux 内核版本 2.1 中，提供了一个专门发送文件的系统调用函数 sendfile()，函数形式如下： #include ssize_t sendfile...你可以在你的 Linux 系统通过下面这个命令，查看网卡是否支持 scatter-gather 特性： $ ethtool -k eth0 | grep scatter-gather scatter-gather...: on 于是，从 Linux 内核 2.4 版本开始起，对于支持网卡支持 SG-DMA 技术的情况下， sendfile() 系统调用的过程发生了点变化，具体过程如下： 第一步，通过 DMA 将磁盘上的数据拷贝到内核缓冲区里...count) throws IOException { return fileChannel.transferTo(position, count, socketChannel); } 如果 Linux...当然，要使用 sendfile，Linux 内核版本必须要 2.1 以上的版本。 ---- PageCache 有什么作用？
sendfile 在 Linux 内核版本 2.1 中，提供了一个专门发送文件的系统调用函数 sendfile()，函数形式如下： #include ssize_t sendfile...你可以在你的 Linux 系统通过下面这个命令，查看网卡是否支持 scatter-gather 特性： $ ethtool -k eth0 | grep scatter-gather scatter-gather...: on 于是，从 Linux 内核 2.4 版本开始起，对于支持网卡支持 SG-DMA 技术的情况下， sendfile() 系统调用的过程发生了点变化，具体过程如下： 第一步，通过 DMA 将磁盘上的数据拷贝到内核缓冲区里...throws IOException { return fileChannel.transferTo(position, count, socketChannel); } 如果 Linux...当然，要使用 sendfile，Linux 内核版本必须要 2.1 以上的版本。 ---- PageCache 有什么作用？
Docker长期运行导致Linux内存buff/caches占用过高，这个问题很常见，但是我们是无法控制Docker自己对pagecache的处理机制的。...我们可以手工执行以下命令进行对buff/caches的清理： # 表示清除pagecache （执行后问题得以解决） echo 1 > /proc/sys/vm/drop_caches # 表示清除回收...slab分配器中的对象（包括目录项缓存和inode缓存） # slab分配器是内核中管理内存的一种机制，其中很多缓存数据实现都是用的pagecache echo 2 > /proc/sys/vm/drop_caches...# 表示清除pagecache和slab分配器中的缓存对象 （这个可以的） echo 3 > /proc/sys/vm/drop_caches 当然我们也可以写一个脚本然后定时执行即可。
class PageCache { public: //懒汉模式进行时间 static PageCache* GetInstance() { if (_pinfo == nullptr)...PageCache(const PageCache&) = delete; PageCache operator=(const PageCache&) = delete; }; 3 NewSpan...#include #else // linux #endif // --- 直接去堆上按页申请空间 --- inline static void* SystemAlloc(size_t...WIN32 void* ptr = VirtualAlloc(0, kpage << 13, MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE); #else // linux...::GetInstance()->GetMuetx().lock(); // 上页锁 Span* span = PageCache::GetInstance()->NewSpan(num); PageCache
这种机制也是由于linux操作系统决定的。...将数据存储到linux操作系统种，会先存储到页缓存（Page cache）中，按照时间或者其他条件进行刷盘（从page cache到file），或者通过fsync命令强制刷盘。...Broker在linux服务器上高速读写以及同步到Replica 上图简述了broker写数据以及同步的一个过程。broker写数据只写到PageCache中，而pageCache位于内存。...pageCache的数据通过linux的flusher程序进行刷盘。刷盘触发条件有三： 主动调用sync或fsync函数 可用内存低于阀值 dirty data时间达到阀值。...dirty是pagecache的一个标识位，当有数据写入到pageCache时，pagecache被标注为dirty，数据刷盘以后，dirty标志清除。
drop_caches echo 2 > /proc/sys/vm/drop_caches echo 3 > /proc/sys/vm/drop_caches cache释放： To free pagecache...因为LINUX的内核机制，一般情况下不需要特意去释放已经使用的cache。这些cache起来的内容可以增加文件以及的读写速度。...将/proc/sys/vm/drop_caches值设为3 有关/proc/sys/vm/drop_caches的用法在下面进行了说明 /proc/sys/vm/drop_caches (since Linux...To free pagecache, use echo 1 > /proc/sys/vm/drop_caches; to free dentries and inodes, use echo 2 > /...proc/sys/vm/drop_caches; to free pagecache, dentries and inodes, use echo 3 > /proc/sys/vm/drop_caches
准备工作 Linux磁盘IO关于脏页数据写入磁盘的方式的配置，是可以通过配置文件配置的： [root@node1 ~]# sysctl -a | grep dirty vm.dirty_background_ratio...进行断电操作，同样能验证pagecache会丢失数据的特点。...但是mmap的内存映射，依然是内核的pagecache体系所约束的！！！也就是说会丢数据。 C语言写的jni扩展库，可使用linux内核的Direct IO---直接IO。...直接IO是忽略linux的pagecache的。它是交给了程序自己开辟一个字节数组当作pagecache，但是仍需要动用代码逻辑来维护一致性/dirty等一系列复杂问题。...mmap写入数据会直接到达pagecache，不需要系统调用，没有用户态内核态的切换，但是依然会丢数据。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
