在正式讲解两个概念前,你可以先想想,你有没有什么途径来进一步了解它们?除了中文翻译直接得到概念,别忘了,Buffer 和 Cache 还是我们用 free 获得的指标。
用 man 命令查询 free 的文档,就可以找到对应指标的详细说明。 比如,我们执行 man free ,就可以看到下面这个界面。
1buffers
2 Memory used by kernel buffers (Buffers in /proc/meminfo)
3
4 cache Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo)
5
6 buff/cache
7 Sum of buffers and cache
从 free 的手册中,你可以看到 buffer 和 cache 的说明。
/proc 是 Linux 内核提供的一种特殊文件系统,是用户跟内核交互的接口。比方说,用户可以从 /proc 中查询内核的运行状态和配置选项,查询进程的运行状态、统计数据等,当然,你也可以通过 /proc 来修改内核的配置。
proc 文件系统同时也是很多性能工具的最终数据来源。比如我们刚才看到的 free ,就是通过读取 /proc/meminfo ,得到内存的使用情况。
继续说回 /proc/meminfo,既然 Buffers、Cached、SReclaimable 这几个指标不容易理解,那我们还得继续查 proc 文件系统,获取它们的详细定义。
执行 man proc ,你就可以得到 proc 文件系统的详细文档。注意这个文档比较长,你最好搜索一下(比如搜索 meminfo),以便更快定位到内存部分。
1Buffers %lu
2 Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so).
3
4Cached %lu
5 In-memory cache for files read from the disk (the page cache). Doesn't include SwapCached.
6...
7SReclaimable %lu (since Linux 2.6.19)
8 Part of Slab, that might be reclaimed, such as caches.
9
10SUnreclaim %lu (since Linux 2.6.19)
11 Part of Slab, that cannot be reclaimed on memory pressure.
通过这个文档,我们可以看到:
好了,我们终于找到了这三个指标的详细定义。到这里,你是不是长舒一口气,满意地想着,总算弄明白 Buffer 和 Cache 了。不过,知道这个定义就真的理解了吗?这里我给你提了两个问题,你先想想能不能回答出来。
第一个问题,Buffer 的文档没有提到这是磁盘读数据还是写数据的缓存,而在很多网络搜索的结果中都会提到 Buffer 只是对将要写入磁盘数据的缓存。那反过来说,它会不会也缓存从磁盘中读取的数据呢?
第二个问题,文档中提到,Cache 是对从文件读取数据的缓存,那么它是不是也会缓存写文件的数据呢?
为了解答这两个问题,接下来,我将用几个案例来展示, Buffer 和 Cache 在不同场景下的使用情况。
之所以要安装 sysstat ,是因为我们要用到 vmstat ,来观察 Buffer 和 Cache 的变化情况。虽然从 /proc/meminfo 里也可以读到相同的结果,但毕竟还是 vmstat 的结果更加直观。
另外,这几个案例使用了 dd 来模拟磁盘和文件的 I/O,所以我们也需要观测 I/O 的变化情况。
上面的工具安装完成后,你可以打开两个终端,连接到 Ubuntu 机器上。
准备环节的最后一步,为了减少缓存的影响,记得在第一个终端中,运行下面的命令来清理系统缓存:
1$ echo 3 > /proc/sys/vm/drop_caches
这里的 /proc/sys/vm/drop_caches ,就是通过 proc 文件系统修改内核行为的一个示例,写入 3 表示清理文件页、目录项、Inodes 等各种缓存。
场景 1:磁盘和文件写案例
首先,在第一个终端,运行下面这个 vmstat 命令:
1$ vmstat 12procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
3r b swpd free buff cache si so bi bo in cs us sy id wa st
40 0 0 7743608 1112 92168 0 0 0 0 52 152 0 1 100 0 0
50 0 0 7743608 1112 92168 0 0 0 0 36 92 0 0 100 0 0
输出界面里, 内存部分的 buff 和 cache ,以及 io 部分的 bi 和 bo 就是我们要关注的重点。
正常情况下,空闲系统中,你应该看到的是,这几个值在多次结果中一直保持不变。
接下来,到第二个终端执行 dd 命令,通过读取随机设备,生成一个 500MB 大小的文件:
1$ dd if=/dev/urandom of=/tmp/file bs=1M count=500
然后再回到第一个终端,观察 Buffer 和 Cache 的变化情况:
1procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
2r b swpd free buff cache si so bi bo in cs us sy id wa st
30 0 0 7499460 1344 230484 0 0 0 0 29 145 0 0 100 0 0
4 1 0 0 7338088 1752 390512 0 0 488 0 39 558 0 47 53 0 0
5 1 0 0 7158872 1752 568800 0 0 0 4 30 376 1 50 49 0 0
6 1 0 0 6980308 1752 747860 0 0 0 0 24 360 0 50 50 0 0
7 0 0 0 6977448 1752 752072 0 0 0 0 29 138 0 0 100 0 0
8 0 0 0 6977440 1760 752080 0 0 0 152 42 212 0 1 99 1 0
9 0 1 0 6977216 1768 752104 0 0 4 122880 33 234 0 1 51 49 0
10 0 1 0 6977440 1768 752108 0 0 0 10240 38 196 0 0 50 50 0
通过观察 vmstat 的输出,我们发现,在 dd 命令运行时, Cache 在不停地增长,而 Buffer 基本保持不变。 再进一步观察 I/O 的情况,你会看到:
把这个结果,跟我们刚刚了解到的 Cache 的定义做个对比,你可能会有点晕乎。为什么前面文档上说 Cache 是文件读的页缓存,怎么现在写文件也有它的份?
这个疑问,我们暂且先记下来,接着再来看另一个磁盘写的案例。两个案例结束后,我们再统一进行分析。
不过,对于接下来的案例,我必须强调一点:
下面的命令对环境要求很高,需要你的系统配置多块磁盘,并且磁盘分区 /dev/sdb1 还要处于未使用状态。如果你只有一块磁盘,千万不要尝试,否则将会对你的磁盘分区造成损坏。
如果你的系统符合标准,就可以继续在第二个终端中,运行下面的命令。清理缓存后,向磁盘分区 /dev/sdb1 写入 2GB 的随机数据:
1$ echo 3 > /proc/sys/vm/drop_caches
1$ dd if=/dev/urandom of=/dev/sdb1 bs=1M count=2048
然后,再回到终端一,观察内存和 I/O 的变化情况:
1procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
2 r b swpd free buff cache si so bi bo in cs us sy id wa st
31 0 0 7584780 153592 97436 0 0 684 0 31 423 1 48 50 2 0
4 1 0 0 7418580 315384 101668 0 0 0 0 32 144 0 50 50 0 0
5 1 0 0 7253664 475844 106208 0 0 0 0 20 137 0 50 50 0 0
6 1 0 0 7093352 631800 110520 0 0 0 0 23 223 0 50 50 0 0
7 1 1 0 6930056 790520 114980 0 0 0 12804 23 168 0 50 42 9 0
8 1 0 0 6757204 949240 119396 0 0 0 183804 24 191 0 53 26 21 0
9 1 1 0 6591516 1107960 123840 0 0 0 77316 22 232 0 52 16 33 0
从这里你会看到,虽然同是写数据,写磁盘跟写文件的现象还是不同的。写磁盘时(也就是 bo 大于 0 时),Buffer 和 Cache 都在增长,但显然 Buffer 的增长快得多。
这说明,写磁盘用到了大量的 Buffer,这跟我们在文档中查到的定义是一样的。
对比两个案例,我们发现,写文件时会用到 Cache 缓存数据,而写磁盘则会用到 Buffer 来缓存数据。所以,回到刚刚的问题,虽然文档上只提到,Cache 是文件读的缓存,但实际上,Cache 也会缓存写文件时的数据。
场景 2:磁盘和文件读案例
了解了磁盘和文件写的情况,我们再反过来想,磁盘和文件读的时候,又是怎样的呢?
我们回到第二个终端,运行下面的命令。清理缓存后,从文件 /tmp/file 中,读取数据写入空设备:
1$ echo 3 > /proc/sys/vm/drop_caches
1$ dd if=/tmp/file of=/dev/null
然后,再回到终端一,观察内存和 I/O 的变化情况:
1procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
2 r b swpd free buff cache si so bi bo in cs us sy id wa st
3 0 1 0 7724164 2380 110844 0 0 16576 0 62 360 2 2 76 21 0
4 0 1 0 7691544 2380 143472 0 0 32640 0 46 439 1 3 50 46 0
5 0 1 0 7658736 2380 176204 0 0 32640 0 54 407 1 4 50 46 0
6 0 1 0 7626052 2380 208908 0 0 32640 40 44 422 2 2 50 46 0
观察 vmstat 的输出,你会发现读取文件时(也就是 bi 大于 0 时),Buffer 保持不变,而 Cache 则在不停增长。这跟我们查到的定义“Cache 是对文件读的页缓存”是一致的。
那么,磁盘读又是什么情况呢?我们再运行第二个案例来看看。
首先,回到第二个终端,运行下面的命令。清理缓存后,从磁盘分区 /dev/sda1 中读取数据,写入空设备:
1$ echo 3 > /proc/sys/vm/drop_caches
1$ dd if=/dev/sda1 of=/dev/null bs=1M count=1024
然后,再回到终端一,观察内存和 I/O 的变化情况:
1procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
2 r b swpd free buff cache si so bi bo in cs us sy id wa st
30 0 0 7225880 2716 608184 0 0 0 0 48 159 0 0 100 0 0
4 0 1 0 7199420 28644 608228 0 0 25928 0 60 252 0 1 65 35 0
5 0 1 0 7167092 60900 608312 0 0 32256 0 54 269 0 1 50 49 0
6 0 1 0 7134416 93572 608376 0 0 32672 0 53 253 0 0 51 49 0
7 0 1 0 7101484 126320 608480 0 0 32748 0 80 414 0 1 50 49 0
观察 vmstat 的输出,你会发现读磁盘时(也就是 bi 大于 0 时),Buffer 和 Cache 都在增长,但显然 Buffer 的增长快很多。这说明读磁盘时,数据缓存到了 Buffer 中。
当然,我想,经过上一个场景中两个案例的分析,你自己也可以对比得出这个结论:读文件时数据会缓存到 Cache 中,而读磁盘时数据会缓存到 Buffer 中。
到这里你应该发现了,虽然文档提供了对 Buffer 和 Cache 的说明,但是仍不能覆盖到所有的细节。比如说,今天我们了解到的这两点:
这样,我们就回答了案例开始前的两个问题。
简单来说,Buffer 是对磁盘数据的缓存,而 Cache 是文件数据的缓存,它们既会用在读请求中,也会用在写请求中。