学习 / TSENGCHEN BLOG

Linux-PageCache-And-IO--04-VFS-and-IO-Stack

01_Learning · 第 7 / 23 篇

VFS 与块 I/O 栈

第 3 章讲了页缓存内部,本章把视野拉开:一次读写从系统调用到磁盘的完整链路。掌握 VFS 的对象模型、块层的 bio 与调度器、O_DIRECT 的取舍,以及 io_uring 的定位。

1. VFS 的四大对象

VFS(虚拟文件系统,fs/)用四个核心结构抽象”一切皆文件”,每种真实文件系统(ext4、f2fs、tmpfs、procfs)都按这套接口实现:

对象描述关键内容磁盘对应
struct super_block一个已挂载文件系统块大小、根 dentry、操作表超级块
struct inode一个文件(元数据)大小、权限、i_mapping(address_space)、i_fopinode
struct dentry路径的一个分量文件名到 inode 的映射,dcache 缓存目录项
struct file一次打开的实例f_pos 偏移、f_op 操作表无(仅内存)

要点:

  • inode 是文件的唯一身份,同一个文件被打开 10 次只有 1 个 inode 但有 10 个 file;file 持有各自的读写偏移。
  • dentry cache(dcache) 缓存”路径分量 → inode”的查找结果,这是路径解析快的原因。
  • inode->i_mapping 就是第 3 章的 address_space——VFS 对象与页缓存在此接线。
  • file->f_op 是分发点:read_iter/write_iter/mmap… 每种文件系统各自实现,通用文件走 generic_file_* 系列(页缓存),特殊文件(如 pipe、socket、/dev/null)有自己的实现。

2. 一次 open+read 的完整路径

open("/data/testfile")
  → do_sys_open() → path_openat()
  → 路径逐分量解析: link_path_walk() 查 dcache
    (未命中 → inode->i_op->lookup, ext4 读目录块)
  → 分配 struct file, 挂到进程 fd 表

read(fd, buf, len)
  → vfs_read() → new_sync_read()
  → file->f_op->read_iter()          ← 进入第 3 章的页缓存路径
  → 命中: copy_page_to_iter, 返回
  → 未命中: readahead → submit_bio() ↓ 进入块层

3. 块层:bio 与请求队列

页缓存未命中时,文件系统把”读哪些磁盘块”封装成 bio(block I/O,include/linux/blk_types.h):

  • bi_io_vec(配合 bi_iter 遍历):一个 bvec 数组,每项又是一组 {page, offset, len} 页引用——和第 5 章 skb frags 同源,块层传输的同样只是页引用而不是拷贝的数据。
  • bio 进入请求队列(request queue)后由 plugging(插塞聚合)和合并逻辑把相邻扇区的请求合并,减少磁盘寻道/命令数。
  • 驱动(eMMC 走 CQE/mmc 块驱动,NVMe 走 nvme 驱动)从队列取请求,构建 DMA 描述符,硬件搬运。

I/O 调度器

请求入队时由调度器排序/限流(block/):

  • mq-deadline:按读写截止时间排序,读优先于写,通用默认,I/O 延迟稳定;
  • bfq:按进程分配带宽份额,交互体验好但开销略高;
  • none:多队列高速设备(NVMe)直通。

RK 板查看与切换:cat /sys/block/mmcblk0/queue/scheduler,echo 即可切换。eMMC 场景一般保持 mq-deadline;交互卡顿问题可试 bfq。

4. 回写与 fsync 的块层终点

第 3 章的 submit_bio() 到这里落地。与一致性相关的关键点:

  • ext4 默认 data=ordered:先写数据块,再提交日志(元数据)。这保证了崩溃后”文件长度和内容一致”,但不保证 write() 返回的数据已落盘——只有 fsync() 保证。
  • fsync() = 该文件脏页回写(file_write_and_wait_range)+ 日志提交 + blkdev_issue_flush()(让 eMMC 控制器把内部缓存也刷掉)。FSYNC 是嵌入式数据可靠性的最后防线,掉电保护的验证必须基于它。

5. O_DIRECT:绕过页缓存

open(..., O_DIRECT) 后读写不经过页缓存:用户缓冲区与磁盘之间直接 DMA,对齐要求严格(缓冲区地址、长度、偏移都需按逻辑块对齐,通常 512B 或 4KB)。

适用与代价:

  • 数据库等自带缓存的应用用它避免”双重缓存”(页缓存一份 + 应用一份)和 write-back 的不可控回写时机;
  • 每次读都真落盘,延迟高、无法享受预读合并——第 2 章实验 4 的慢就是代价;
  • 与 buffered I/O 混用同一文件需小心一致性(内核已做页缓存失效,但时间窗口内的旧数据仍可能被读到)。

6. io_uring:批量化系统调用

io_uring(io_uring/,6.1 已稳定)用两个共享环消除大部分系统调用开销:

  • SQ 环:应用批量提交请求(读/写/fsync/…);CQ 环:内核批量回填完成事件。空闲时应用甚至不需要陷入内核(IORING_SETUP_SQPOLL)。
  • 它本身不消除数据拷贝——buffered 模式仍走页缓存路径;价值在于把”每笔 I/O 一次系统调用”变成”一批 I/O 按需一次交互”,对高队列深度随机 I/O 提升显著。
  • 与零拷贝的关系:io_uring 支持 IORING_OP_SEND_ZC(网络零拷贝发送)等操作,是第 5 章机制的新载体。

RK 板上验证:有 fio 的话 --ioengine=io_uring --iodepth=32 与 --ioengine=psync 对比 4K 随机读。

7. 实验

  1. 观察调度器与合并:

    cat /sys/block/mmcblk0/queue/scheduler
    echo 3 > /proc/sys/vm/drop_caches
    fio --name=t --filename=/data/f --rw=read --bs=4k --iodepth=1 --ioengine=psync
    fio --name=t --filename=/data/f --rw=read --bs=4k --iodepth=32 --ioengine=io_uring

    预期:io_uring + 队列深度 32 在 4K 随机读上明显领先(IOPS 翻倍以上,取决于 eMMC 随机读能力与 CQE 支持)。

  2. 观察 dcache:slabtop 里 dentry、ext4_inode_cache 的大小随文件访问变化。

自检题

  1. 同一文件被两个进程打开,内核里有几个 inode、几个 struct file?读偏移互相影响吗?
  2. fsync() 具体做了哪三件事?fdatasync() 省了哪部分?
  3. O_DIRECT 写模式下 write() 返回意味着什么?和 buffered 模式有什么本质区别?
  4. 什么场景下 io_uring 提升明显,什么场景下几乎无感?

参考答案见 07-Appendix-Answers-and-Resources.md。

01_Learning · 文档目录
上一篇Linux-PageCache-And-IO--03-Page-Cache-Internals下一篇Linux-PageCache-And-IO--05-Zero-Copy