用户态观测实验
本章只当用户,不当作者:所有机制先在板子上”看见”。全部实验只需要 root 权限的串口/ADB shell 和一块有可写分区的 RK 板卡,不需要额外工具。每个实验都标注了预期结果,做出来不符时先查”常见问题”一节。
约定:/data 为板卡上的可写分区(ext4),/data/testfile 为一个至少 256MB 的测试文件。没有 dd 源时生成:
dd if=/dev/urandom of=/data/testfile bs=1M count=256
sync
实验 1:冷读与热读——看见页缓存
echo 3 > /proc/sys/vm/drop_caches # 清空页缓存(只读诊断用途)
time dd if=/data/testfile of=/dev/null bs=1M count=256
time dd if=/data/testfile of=/dev/null bs=1M count=256
预期:第一次速度接近 eMMC 顺序读带宽(RK 板常见 100 到 300MB/s);第二次快数倍以上,因为数据已在页缓存,dd 实际读的是内存。
对照观测:第二个终端跑 watch -n1 cat /proc/meminfo,清缓存后 Cached: 大幅下降,dd 过程中重新上涨——上涨量约等于文件大小。
结论:常规读从不在磁盘上直接读,永远先经过页缓存。
实验 2:脏页回写——看见 write-back
vmstat 1 &
dd if=/dev/zero of=/data/bigfile bs=1M count=512
预期:
dd很快返回(比 eMMC 写带宽快得多),因为数据只写进了页缓存。vmstat的bo列随后持续有值,/proc/meminfo的Dirty:先冲高(几百 MB)再缓慢归零——内核后台在往 eMMC 刷。
再跑一遍并在 dd 结束后立刻重启或掉电:/data/bigfile 部分内容或长度丢失。这就是 write-back 的代价:write() 返回不等于数据落盘。
对比组:dd ... oflag=direct(绕过页缓存直写)或写完后 sync,速度和可靠性差异自己体会。
实验 3:缓存回收——看见内存紧张时的行为
while :; do cat /data/testfile /data/bigfile > /dev/null; done &
watch -n1 'grep -E "Cached|Dirty" /proc/meminfo'
# 同时用另一个持续写文件的任务制造脏页,观察 Cached 被压低
预期:内存吃紧时 Cached 下降(干净文件页被直接丢弃),Dirty 不会无限上涨(回收路径会先回写脏页再丢弃)。它回收的是可再生的页缓存,应用匿名内存不动或最后才动。
实验 4:O_DIRECT 对比——量化页缓存的贡献
有 fio 的根文件系统直接跑;没有就用 dd iflag=direct:
echo 3 > /proc/sys/vm/drop_caches
fio --name=t --filename=/data/f --size=512M --rw=read --bs=1M --direct=1
echo 3 > /proc/sys/vm/drop_caches
fio --name=t --filename=/data/f --size=512M --rw=read --bs=1M
预期:走页缓存的一组(尤其第二次热读)吞吐明显高于 direct=1。差值就是页缓存 + 预读贡献。
实验 5:观测文件驻留
vmtouch(buildroot 有包,交叉编译很简单):
vmtouch /data/testfile
# Files: 1
# Pages: 65536 (256M)
Resident Pages 显示多少页在页缓存中。vmtouch -e /data/testfile 可以只驱逐这一个文件的缓存,比全盘 drop_caches 温和,适合做单文件冷读实验。
没有 vmtouch 时的替代:fincore /data/testfile(util-linux 较新版本自带)。
常用观测点速查
| 观测点 | 位置 | 含义 |
|---|---|---|
Cached | /proc/meminfo | 页缓存总量(含部分 tmpfs) |
Dirty / Writeback | /proc/meminfo | 待回写 / 回写中的脏页量 |
pgscan/pgsteal/pgactivate | /proc/vmstat | 回收扫描/逐出/重新激活的页数 |
bo 列 | vmstat 1 | 每秒写回块设备的块数 |
drop_caches | /proc/sys/vm/drop_caches | 手动清缓存(诊断用,日常不要碰) |
| 主/次缺页 | ps -o min_flt,maj_flt | 进程缺页统计 |
常见问题
- 清缓存不生效:
drop_caches需要 root;且它只丢弃干净页,脏页会先回写,所以清完Dirty仍会短暂存在。 - 热读没有变快:确认测试文件不在 tmpfs(如
/tmp)——tmpfs 本身就是内存,没有”冷热”之分。确认 eMMC 控制器自身缓存不大到掩盖差异(eMMC 内部缓存通常 1 到 8MB,256MB 文件可忽略)。 dd写速度波动剧烈:正常。写入速度受Dirty阈值限流(见第 3 章balance_dirty_pages),冲高、回落周期性变化正是限流在工作。- U 盘/SD 卡更明显:低速存储上实验 2 的”秒写完、慢慢刷”现象更夸张,适合给客户演示 write-back 原理。
自检题
- 实验 1 中两次
dd读的分别是什么介质? write()返回后数据一定安全吗?掉电最多丢多少,由哪两个 sysctl 参数间接控制?- 为什么内核优先回收页缓存而不是应用的匿名内存?
O_DIRECT读为什么会慢于热读?它绕过了什么?