学习 / TSENGCHEN BLOG

Linux-PageCache-And-IO--01-Virtual-Memory-Basics

01_Learning · 第 4 / 23 篇

虚拟内存基础

页缓存完全建立在虚拟内存机制之上。本章补齐最小必需的 MM(内存管理)概念:虚拟地址如何变成物理地址、缺页异常做什么、内核用什么结构描述一个物理页。这些概念在第 3 章读页缓存源码时全部会用到。

1. 虚拟地址与物理地址

CPU 执行指令时使用的都是虚拟地址(virtual address),访问内存前由 MMU(内存管理单元)查页表(page table)把它翻译成物理地址(physical address),物理地址才是内存芯片上的真实位置。

关键结论:

  • 每个进程有自己独立的页表,所以两个进程的同一个虚拟地址通常指向不同物理页,进程之间天然隔离。
  • 反过来,多个虚拟地址可以映射到同一个物理页——这正是共享的基础:mmap 一个文件后,用户虚拟地址和内核页缓存指向的是同一份物理数据。零拷贝的第一根支柱就在这里。
  • 翻译按”页”进行,ARM64 常用 4KB 页,粒度之外的偏移直接透传。

2. 页表与 TLB

ARM64 在 4KB 页配置下使用多级页表(通常 3 到 4 级):虚拟地址被切成多段,逐级索引,最后一级表项(PTE)存放物理页号和权限位(可读/可写/可执行、用户态是否可访问等)。

多级查找开销大,CPU 用 TLB(Translation Lookaside Buffer,地址翻译缓存)缓存最近的翻译结果。这也是后面理解”大页能提速”的原因:同样的 TLB 容量,2MB 大页能覆盖 512 倍的地址范围,缺 TLB 的概率大幅下降。

3. 缺页异常

当 CPU 访问的虚拟地址在页表中没有有效表项时,MMU 触发缺页异常(page fault),进入内核处理。按原因分三类:

类型触发场景内核动作
主缺页(major fault)读 mmap 的文件页但数据还没读入内存从磁盘读入(走页缓存),填页表
次缺页(minor fault)匿名页首次写入(分配零页/直接分配)或页已在页缓存只差映射分配或建立映射,不访问磁盘
非法访问越界、写只读页杀进程(段错误)或 COW 处理

按需调页(demand paging)指内核故意不提前建立映射,等真正访问时再缺页处理。mmap 一个 1GB 文件不会立刻占用 1GB 内存,只有逐页访问才逐页调入——这和页缓存的关系在第 3 章 filemap_fault 一节展开。

观测方法:ps -o min_flt,maj_flt -p <pid>,或 perf stat -e page-faults ./your_app。主缺页多说明程序在读盘,次缺页多说明在频繁分配内存。

4. 内核空间与用户空间

ARM64 Linux 6.1 默认 48 位虚拟地址空间布局(概念示意,忽略 KPTI 等细节):

  • 低半区给用户进程,高半区是内核的线性映射区、vmalloc 区、内核镜像等。
  • 线性映射区(linear map):把全部物理内存按固定偏移直接映射,内核用 __va()/__pa() 宏在两者间换算。页缓存页、DMA 一致性内存大多从这里分配。
  • 用户态不能直接访问内核地址,反之内核可以通过 copy_to_user()/copy_from_user() 访问用户地址——这两个函数会检查地址合法性并处理缺页,读源码时见到它们就意味着”内核和用户之间的数据搬运点”,零拷贝要消除的正是这里的拷贝。

get_user_pages()(GUP)是另一个重要的接口:内核需要直接读写用户内存的物理页时(如 MSG_ZEROCOPY、splice 的 vmsplice、RDMA 注册),用它把用户虚拟地址背后的物理页”拿到手”并增加引用计数,之后不经过页表也能操作这些页。

5. struct page 与 struct folio

内核用一个紧凑的结构描述每个 4KB 物理页框。6.1 内核中顶层类型是 folio(include/linux/mm_types.h):

  • struct folio 代表一组连续物理页(1 页或 2 的幂次页,如 2MB 大页对应 512 页),内嵌一个基础 struct page。
  • 引入 folio 的动机:内核长期以”单页”为单位处理文件缓存,每个 4KB 页都要单独加锁、计数、查索引,管理开销随文件大小线性增长。folio 把这组操作合并成一次,是大页化文件缓存的基础设施。
  • 迁移期读码技巧:5.10 及更早内核里对应概念就是 struct page,函数名常带 _page(如 add_to_page_cache_lru);6.1 中同名逻辑变成 folio(如 filemap_add_folio)。读旧资料时按此对照。

常用接口(都在 include/linux/mm.h、include/linux/page-ops.h 附近):

  • folio_get() / folio_put():引用计数加一/减一。零拷贝的生命周期管理全靠它:页被挂进 skb 或管道时加一,DMA 完成后减一。
  • folio_mark_dirty():标记脏页,等待回写。
  • page_to_phys() / folio_address():物理页与内核虚拟地址换算。

6. 物理页的分配与回收概貌

只需要一个轮廓,细节在第 3 章回收一节展开:

  • 伙伴系统(buddy allocator)按 2 的幂次分配物理页;常用的小块内存走 slab。
  • 物理页按用途挂在 LRU 链表上(匿名页/文件页、活跃/不活跃),内存紧张时由 kswapd 或直接回收路径(direct reclaim)把不活跃页逐出。
  • 文件页(页缓存)回收后可以随时从磁盘重读,所以是最先被回收的对象;这也是”空闲内存拿去做缓存”策略的退路。

实验

  1. 观察缺页计数:

    /usr/bin/time -v cat /data/testfile > /dev/null
    # 关注 "Major (requiring I/O) page faults" 与 "Minor"
    # 第二次执行同一命令,主缺页应大幅下降:页缓存命中后只剩次缺页
  2. 观察 mmap 按需调页:写一个小程序 mmap 一个 100MB 文件后睡眠,另开终端看 /proc/<pid>/smaps_rollup,Rss 远小于 100MB;逐页读一遍后 Rss 涨到接近 100MB。

自检题

  1. 两个进程把同一文件 mmap 到各自的地址空间,它们读到的是同一份物理数据吗?谁保证了这一点?
  2. mmap 之后立刻统计进程内存占用,为什么几乎不变?什么时候开始涨?
  3. 主缺页和次缺页的区别是什么?哪个暗示存在磁盘 I/O?
  4. folio 和 struct page 是什么关系?为什么内核要引入 folio?

参考答案见 07-Appendix-Answers-and-Resources.md。

01_Learning · 文档目录
上一篇Linux-PageCache-And-IO--00-Learning-Guide下一篇Linux-PageCache-And-IO--02-User-Space-Observation-Labs