虚拟内存基础
页缓存完全建立在虚拟内存机制之上。本章补齐最小必需的 MM(内存管理)概念:虚拟地址如何变成物理地址、缺页异常做什么、内核用什么结构描述一个物理页。这些概念在第 3 章读页缓存源码时全部会用到。
1. 虚拟地址与物理地址
CPU 执行指令时使用的都是虚拟地址(virtual address),访问内存前由 MMU(内存管理单元)查页表(page table)把它翻译成物理地址(physical address),物理地址才是内存芯片上的真实位置。
关键结论:
- 每个进程有自己独立的页表,所以两个进程的同一个虚拟地址通常指向不同物理页,进程之间天然隔离。
- 反过来,多个虚拟地址可以映射到同一个物理页——这正是共享的基础:
mmap一个文件后,用户虚拟地址和内核页缓存指向的是同一份物理数据。零拷贝的第一根支柱就在这里。 - 翻译按”页”进行,ARM64 常用 4KB 页,粒度之外的偏移直接透传。
2. 页表与 TLB
ARM64 在 4KB 页配置下使用多级页表(通常 3 到 4 级):虚拟地址被切成多段,逐级索引,最后一级表项(PTE)存放物理页号和权限位(可读/可写/可执行、用户态是否可访问等)。
多级查找开销大,CPU 用 TLB(Translation Lookaside Buffer,地址翻译缓存)缓存最近的翻译结果。这也是后面理解”大页能提速”的原因:同样的 TLB 容量,2MB 大页能覆盖 512 倍的地址范围,缺 TLB 的概率大幅下降。
3. 缺页异常
当 CPU 访问的虚拟地址在页表中没有有效表项时,MMU 触发缺页异常(page fault),进入内核处理。按原因分三类:
| 类型 | 触发场景 | 内核动作 |
|---|---|---|
| 主缺页(major fault) | 读 mmap 的文件页但数据还没读入内存 | 从磁盘读入(走页缓存),填页表 |
| 次缺页(minor fault) | 匿名页首次写入(分配零页/直接分配)或页已在页缓存只差映射 | 分配或建立映射,不访问磁盘 |
| 非法访问 | 越界、写只读页 | 杀进程(段错误)或 COW 处理 |
按需调页(demand paging)指内核故意不提前建立映射,等真正访问时再缺页处理。mmap 一个 1GB 文件不会立刻占用 1GB 内存,只有逐页访问才逐页调入——这和页缓存的关系在第 3 章 filemap_fault 一节展开。
观测方法:ps -o min_flt,maj_flt -p <pid>,或 perf stat -e page-faults ./your_app。主缺页多说明程序在读盘,次缺页多说明在频繁分配内存。
4. 内核空间与用户空间
ARM64 Linux 6.1 默认 48 位虚拟地址空间布局(概念示意,忽略 KPTI 等细节):
- 低半区给用户进程,高半区是内核的线性映射区、vmalloc 区、内核镜像等。
- 线性映射区(linear map):把全部物理内存按固定偏移直接映射,内核用
__va()/__pa()宏在两者间换算。页缓存页、DMA 一致性内存大多从这里分配。 - 用户态不能直接访问内核地址,反之内核可以通过
copy_to_user()/copy_from_user()访问用户地址——这两个函数会检查地址合法性并处理缺页,读源码时见到它们就意味着”内核和用户之间的数据搬运点”,零拷贝要消除的正是这里的拷贝。
get_user_pages()(GUP)是另一个重要的接口:内核需要直接读写用户内存的物理页时(如 MSG_ZEROCOPY、splice 的 vmsplice、RDMA 注册),用它把用户虚拟地址背后的物理页”拿到手”并增加引用计数,之后不经过页表也能操作这些页。
5. struct page 与 struct folio
内核用一个紧凑的结构描述每个 4KB 物理页框。6.1 内核中顶层类型是 folio(include/linux/mm_types.h):
struct folio代表一组连续物理页(1 页或 2 的幂次页,如 2MB 大页对应 512 页),内嵌一个基础struct page。- 引入 folio 的动机:内核长期以”单页”为单位处理文件缓存,每个 4KB 页都要单独加锁、计数、查索引,管理开销随文件大小线性增长。folio 把这组操作合并成一次,是大页化文件缓存的基础设施。
- 迁移期读码技巧:5.10 及更早内核里对应概念就是
struct page,函数名常带_page(如add_to_page_cache_lru);6.1 中同名逻辑变成folio(如filemap_add_folio)。读旧资料时按此对照。
常用接口(都在 include/linux/mm.h、include/linux/page-ops.h 附近):
folio_get()/folio_put():引用计数加一/减一。零拷贝的生命周期管理全靠它:页被挂进 skb 或管道时加一,DMA 完成后减一。folio_mark_dirty():标记脏页,等待回写。page_to_phys()/folio_address():物理页与内核虚拟地址换算。
6. 物理页的分配与回收概貌
只需要一个轮廓,细节在第 3 章回收一节展开:
- 伙伴系统(buddy allocator)按 2 的幂次分配物理页;常用的小块内存走 slab。
- 物理页按用途挂在 LRU 链表上(匿名页/文件页、活跃/不活跃),内存紧张时由 kswapd 或直接回收路径(direct reclaim)把不活跃页逐出。
- 文件页(页缓存)回收后可以随时从磁盘重读,所以是最先被回收的对象;这也是”空闲内存拿去做缓存”策略的退路。
实验
-
观察缺页计数:
/usr/bin/time -v cat /data/testfile > /dev/null # 关注 "Major (requiring I/O) page faults" 与 "Minor" # 第二次执行同一命令,主缺页应大幅下降:页缓存命中后只剩次缺页 -
观察
mmap按需调页:写一个小程序mmap一个 100MB 文件后睡眠,另开终端看/proc/<pid>/smaps_rollup,Rss远小于 100MB;逐页读一遍后Rss涨到接近 100MB。
自检题
- 两个进程把同一文件
mmap到各自的地址空间,它们读到的是同一份物理数据吗?谁保证了这一点? mmap之后立刻统计进程内存占用,为什么几乎不变?什么时候开始涨?- 主缺页和次缺页的区别是什么?哪个暗示存在磁盘 I/O?
- folio 和
struct page是什么关系?为什么内核要引入 folio?