学习 / TSENGCHEN BLOG

Linux-PageCache-And-IO--03-Page-Cache-Internals

01_Learning · 第 6 / 23 篇

页缓存主线

本章是全课程核心。目标:读完本章,你能独立追完”一次 read()/write() 在页缓存里的完整旅程”,并理解预读、回写限流、缓存回收这三个决定 I/O 性能的机制。所有源码以 6.1 为准,主战场是 mm/filemap.c、mm/readahead.c、mm/page-writeback.c、mm/vmscan.c。

1. 页缓存的数据组织:address_space 与 XArray

每个打开的文件在内核里对应一个 struct address_space(定义在 include/linux/fs.h),它回答”这个文件的哪些部分已经在内存里”。关键字段:

  • i_pages:一棵 XArray(lib/xarray.c,radix tree 的继任者),键是文件内的页索引(offset >> PAGE_SHIFT),值是 struct folio *。查”偏移 X 的数据在不在缓存”就是查这棵树。

  • host:指向所属 inode,联系起”文件”和”缓存”。

  • a_ops:struct address_space_operations,页缓存对具体文件系统的回调接口,是最重要的字段:

    a_ops 回调职责ext4 的实现
    readahead缺页时批量从磁盘读入ext4_readahead
    write_begin/write_end写入前准备页/写入后收尾ext4_write_begin 等
    dirty_folio标脏ext4_dirty_folio
    invalidate_folio/release_folio截断/释放时的清理同名
    migrate_folio内存迁移同名

VFS 通用层(mm/filemap.c)负责”查缓存、命中返回、缺了再要”,a_ops 负责真正跟文件系统打交道。页缓存是通用的,文件系统是插件——这就是所有文件系统免费获得缓存的原因。

folio 在页缓存中的角色:一个 folio 覆盖文件中连续 N 页(N 可为 1),folio->index 是它在文件中的起始页索引,folio->mapping 指回 address_space。同一 folio 在 XArray 中占用 N 个连续槽位(multi-index entry)。

2. 读路径:generic_file_read_iter 全程

入口链(mm/filemap.c):

read() → vfs_read() → new_sync_read() → file->f_op->read_iter
       → ext4_file_read_iter() → generic_file_read_iter()
       → filemap_read()                    ← 页缓存核心

filemap_read() 的循环逻辑:

  1. filemap_get_pages():按请求偏移取目标 folio。
  2. 逐个检查每个 folio:
    • 在缓存且是最新(folio_test_uptodate)→ 直接命中;
    • 不在缓存 → filemap_create_folio() 分配 folio,filemap_add_folio() 挂进 XArray(此时内容还是空的),随后触发 readahead 回调从磁盘填充;
    • 在缓存但过期(如 NFS 场景)→ 重新验证。
  3. 顺序读时顺带发起预读(下一节)。
  4. copy_page_to_iter():把页缓存数据拷到用户缓冲区——这是页缓存存在的唯一一次 CPU 拷贝,零拷贝(第 5 章)消除的正是它。
  5. 循环直到读完请求长度。

filemap_add_folio() 内部:__filemap_add_folio() 把 folio 存入 i_pages XArray 并把 mapping、index 填好,然后 folio_add_lru() 挂上 LRU 链表等待回收管理。从这一刻起这个页就是页缓存的一部分:它同时被 XArray(文件视角)和 LRU(内存视角)管理。

3. 预读:顺序读快的真正原因

页缓存命中的前提是数据已经被读进来。内核不会等应用一页一页地缺,而是赌”你读完这一段会接着读下一段”,提前批量读——这就是 readahead(mm/readahead.c)。

  • 触发点:filemap_get_pages() 发现”当前偏移与上次读偏移连续”时,调用 page_cache_sync_readahead() 或 page_cache_async_readahead()(后者在命中时预读更远,双保险)。
  • 实现:do_page_cache_ra() → page_cache_ra_unbounded():批量分配 folio 塞进 XArray,然后 read_pages() 调 a_ops->readahead 一次性下发给文件系统 → 块层合并成大请求。
  • 窗口大小自适应:顺序命中越多,预读窗口按 2 倍扩张(上限受 bdi.read_ahead_kb,默认 128KB 到 2MB 不等);检测到随机访问(跳着读)就收缩归零。

这解释了第 2 章实验 4 的结果:冷读仍比 direct=1 快,因为预读把许多次小的磁盘读合并成了少数大读。

观测:/sys/block/*/bdi/read_ahead_kb;ftrace 事件 readahead:readahead 能看到每次预读的范围。

4. 写路径与脏页限流

写入入口:write() → vfs_write() → ext4_file_write_iter() → generic_file_write_iter() → generic_perform_write()。

generic_perform_write()(mm/filemap.c)按 folio 循环:

  1. a_ops->write_begin():拿到目标 folio(没有就分配,可能只是给文件扩洞的空页);
  2. copy_from_user_iter():用户数据拷入页缓存——写入路径同样只有这一次 CPU 拷贝;
  3. a_ops->write_end():收尾,标脏(folio_mark_dirty());
  4. balance_dirty_pages_ratelimited():每写若干页检查一次,必要时睡一觉,这是关键。

4.1 balance_dirty_pages:写速度的节流阀

balance_dirty_pages()(mm/page-writeback.c)的职责:保证全系统脏页不超过水位,超过就让写入者自己睡。两条水位线(比例模式,单位为可用内存的百分比):

  • dirty_background_ratio(默认约 10):脏页超过它,后台回写线程启动,写入者不受影响;
  • dirty_ratio(默认约 20):脏页超过它,写入进程被摁住,亲手刷页直到降到水位以下。

第 2 章实验 2 里 dd 速度的周期性抖动就是这个机制:冲高(缓存接收)→ 触顶(节流)→ 回落(回写完成)。Dirty: 值在 10% 到 20% 水位之间的锯齿就是它的画像。

时间维度还有两个参数:dirty_expire_centisecs(默认 3000,脏满 30 秒必须回写)和 dirty_writeback_centisecs(默认 500,回写线程每 5 秒醒来巡检)。

嵌入式调优直觉:eMMC 慢、内存小的板子,默认水位可能让突发写入卡顿(写入者被摁住时间过长)。把 dirty_background_ratio 调小可让回写更早、更平缓地启动;代价是回写更频繁。

5. 回写机制:脏页如何变成 bio

回写的执行者是 bdi(backing device info)回写线程(mm/page-writeback.c + fs/fs-writeback.c):

wb_workfn() → wb_do_writeback() → wb_writeback()
  → move_expired_inodes()        ← 按脏页超时从 b_dirty 列表摘页
  → writeback_sb_inodes() → __writeback_single_inode() → do_writepages()
  → ext4_writepages()            ← 文件系统把连续脏页攒成大 bio
  → submit_bio()                 ← 进入块层(第 4 章)

要点:

  • 每个块设备一个 bdi,回写按设备隔离,一个慢盘不会卡死另一个盘的回写。
  • 回写完成后 folio_end_writeback() → 清除 writeback 标记 → 页从脏变干净,之后可以被无成本回收(数据已在盘上)。
  • fsync()/fdatasync() 走 file_write_and_wait_range() + blkdev_issue_flush(),把该文件的脏页强制回写并刷盘缓存,不等全局水位。

6. 回收:内存紧张时页缓存怎么办

回收逻辑在 mm/vmscan.c(shrinker/LRU/kswapd),对页缓存你只需要掌握三条规则:

  1. 干净文件页直接丢弃:数据在盘上,需要时重读即可,零成本——这是”空闲内存做缓存”的底气。
  2. 脏文件页先回写再丢:shrink_folio_list() 里发现脏页会排队回写(folio_queue_io),下次回收循环再来收尸。
  3. 活跃/不活跃两级 LRU:访问过的页在 active list,冷置后降级到 inactive list,回收先从 inactive 挑。/proc/vmstat 的 pgscan_kswapd、pgsteal_file 可观测。

映射了页缓存的进程页被回收时只是解除页表映射(数据还在 XArray 里),下次访问主缺页重新建映射——比匿名页(必须 swap)便宜得多,所以回收优先级最高。

7. mmap 读文件:filemap_fault

mmap 的文件页缺页时走 do_fault() → do_read_fault() → filemap_fault()(mm/filemap.c):

  1. filemap_get_folio() 查 XArray:命中 → folio_mark_accessed() 升 LRU,建页表映射,返回;
  2. 未命中 → 发起 readahead 从磁盘读入,等下次重试;
  3. vmf->page/folio 填好后由通用层 finish_fault() 建立用户 PTE。

与 read() 的对比:mmap 省掉了 copy_page_to_iter 那次 CPU 拷贝(用户直接映射页缓存),但每次首次访问一个 folio 有缺页异常开销,且随机访问时缺页比系统调用更贵。大文件顺序读、多次读同一文件、进程间共享只读数据适合 mmap;小块随机读写用 read()/pread() 更稳。

8. 源码地图与观测点

文件内容
mm/filemap.c页缓存核心:读路径、fault、等待/标脏
mm/readahead.c预读
mm/page-writeback.c脏页水位、限流、回写调度
fs/fs-writeback.cbdi 回写线程主体
mm/vmscan.cLRU 回收
mm/workingset.c工作集检测(回收后又被读回的代价模型)
lib/xarray.cXArray 索引

ftrace 观测(板上有 debugfs 即可):

cd /sys/kernel/debug/tracing
echo 1 > events/filemap/mm_filemap_add_to_page_cache/enable
cat trace_pipe            # 每个新页进缓存的时刻与 inode
echo 1 > events/writeback/writeback_dirty_folio/enable

自检题

  1. read() 第二次读同一文件还可能产生磁盘 I/O 吗?举两种情况。
  2. 预读窗口什么时候扩张、什么时候收缩?随机读会被误预读吗?
  3. Dirty 值到什么水位写入进程会被卡住?到什么水位只是后台刷?
  4. 干净文件页被回收后,进程再次访问时发生什么?和匿名页被回收后的差别是什么?
  5. fsync() 和全局回写线程的关系是什么?谁快谁慢,为什么?

参考答案见 07-Appendix-Answers-and-Resources.md。

01_Learning · 文档目录
上一篇Linux-PageCache-And-IO--02-User-Space-Observation-Labs下一篇Linux-PageCache-And-IO--04-VFS-and-IO-Stack