学习 / TSENGCHEN BLOG

Linux-PageCache-And-IO--02-User-Space-Observation-Labs

01_Learning · 第 5 / 23 篇

用户态观测实验

本章只当用户,不当作者:所有机制先在板子上”看见”。全部实验只需要 root 权限的串口/ADB shell 和一块有可写分区的 RK 板卡,不需要额外工具。每个实验都标注了预期结果,做出来不符时先查”常见问题”一节。

约定:/data 为板卡上的可写分区(ext4),/data/testfile 为一个至少 256MB 的测试文件。没有 dd 源时生成:

dd if=/dev/urandom of=/data/testfile bs=1M count=256
sync

实验 1:冷读与热读——看见页缓存

echo 3 > /proc/sys/vm/drop_caches        # 清空页缓存(只读诊断用途)
time dd if=/data/testfile of=/dev/null bs=1M count=256
time dd if=/data/testfile of=/dev/null bs=1M count=256

预期:第一次速度接近 eMMC 顺序读带宽(RK 板常见 100 到 300MB/s);第二次快数倍以上,因为数据已在页缓存,dd 实际读的是内存。

对照观测:第二个终端跑 watch -n1 cat /proc/meminfo,清缓存后 Cached: 大幅下降,dd 过程中重新上涨——上涨量约等于文件大小。

结论:常规读从不在磁盘上直接读,永远先经过页缓存。

实验 2:脏页回写——看见 write-back

vmstat 1 &
dd if=/dev/zero of=/data/bigfile bs=1M count=512

预期:

  1. dd 很快返回(比 eMMC 写带宽快得多),因为数据只写进了页缓存。
  2. vmstat 的 bo 列随后持续有值,/proc/meminfo 的 Dirty: 先冲高(几百 MB)再缓慢归零——内核后台在往 eMMC 刷。

再跑一遍并在 dd 结束后立刻重启或掉电:/data/bigfile 部分内容或长度丢失。这就是 write-back 的代价:write() 返回不等于数据落盘。

对比组:dd ... oflag=direct(绕过页缓存直写)或写完后 sync,速度和可靠性差异自己体会。

实验 3:缓存回收——看见内存紧张时的行为

while :; do cat /data/testfile /data/bigfile > /dev/null; done &
watch -n1 'grep -E "Cached|Dirty" /proc/meminfo'
# 同时用另一个持续写文件的任务制造脏页,观察 Cached 被压低

预期:内存吃紧时 Cached 下降(干净文件页被直接丢弃),Dirty 不会无限上涨(回收路径会先回写脏页再丢弃)。它回收的是可再生的页缓存,应用匿名内存不动或最后才动。

实验 4:O_DIRECT 对比——量化页缓存的贡献

有 fio 的根文件系统直接跑;没有就用 dd iflag=direct:

echo 3 > /proc/sys/vm/drop_caches
fio --name=t --filename=/data/f --size=512M --rw=read --bs=1M --direct=1
echo 3 > /proc/sys/vm/drop_caches
fio --name=t --filename=/data/f --size=512M --rw=read --bs=1M

预期:走页缓存的一组(尤其第二次热读)吞吐明显高于 direct=1。差值就是页缓存 + 预读贡献。

实验 5:观测文件驻留

vmtouch(buildroot 有包,交叉编译很简单):

vmtouch /data/testfile
#   Files: 1
#  Pages: 65536 (256M)

Resident Pages 显示多少页在页缓存中。vmtouch -e /data/testfile 可以只驱逐这一个文件的缓存,比全盘 drop_caches 温和,适合做单文件冷读实验。

没有 vmtouch 时的替代:fincore /data/testfile(util-linux 较新版本自带)。

常用观测点速查

观测点位置含义
Cached/proc/meminfo页缓存总量(含部分 tmpfs)
Dirty / Writeback/proc/meminfo待回写 / 回写中的脏页量
pgscan/pgsteal/pgactivate/proc/vmstat回收扫描/逐出/重新激活的页数
bo 列vmstat 1每秒写回块设备的块数
drop_caches/proc/sys/vm/drop_caches手动清缓存(诊断用,日常不要碰)
主/次缺页ps -o min_flt,maj_flt进程缺页统计

常见问题

  1. 清缓存不生效:drop_caches 需要 root;且它只丢弃干净页,脏页会先回写,所以清完 Dirty 仍会短暂存在。
  2. 热读没有变快:确认测试文件不在 tmpfs(如 /tmp)——tmpfs 本身就是内存,没有”冷热”之分。确认 eMMC 控制器自身缓存不大到掩盖差异(eMMC 内部缓存通常 1 到 8MB,256MB 文件可忽略)。
  3. dd 写速度波动剧烈:正常。写入速度受 Dirty 阈值限流(见第 3 章 balance_dirty_pages),冲高、回落周期性变化正是限流在工作。
  4. U 盘/SD 卡更明显:低速存储上实验 2 的”秒写完、慢慢刷”现象更夸张,适合给客户演示 write-back 原理。

自检题

  1. 实验 1 中两次 dd 读的分别是什么介质?
  2. write() 返回后数据一定安全吗?掉电最多丢多少,由哪两个 sysctl 参数间接控制?
  3. 为什么内核优先回收页缓存而不是应用的匿名内存?
  4. O_DIRECT 读为什么会慢于热读?它绕过了什么?

参考答案见 07-Appendix-Answers-and-Resources.md。

01_Learning · 文档目录
上一篇Linux-PageCache-And-IO--01-Virtual-Memory-Basics下一篇Linux-PageCache-And-IO--03-Page-Cache-Internals