VFS 与块 I/O 栈
第 3 章讲了页缓存内部,本章把视野拉开:一次读写从系统调用到磁盘的完整链路。掌握 VFS 的对象模型、块层的 bio 与调度器、O_DIRECT 的取舍,以及 io_uring 的定位。
1. VFS 的四大对象
VFS(虚拟文件系统,fs/)用四个核心结构抽象”一切皆文件”,每种真实文件系统(ext4、f2fs、tmpfs、procfs)都按这套接口实现:
| 对象 | 描述 | 关键内容 | 磁盘对应 |
|---|---|---|---|
struct super_block | 一个已挂载文件系统 | 块大小、根 dentry、操作表 | 超级块 |
struct inode | 一个文件(元数据) | 大小、权限、i_mapping(address_space)、i_fop | inode |
struct dentry | 路径的一个分量 | 文件名到 inode 的映射,dcache 缓存 | 目录项 |
struct file | 一次打开的实例 | f_pos 偏移、f_op 操作表 | 无(仅内存) |
要点:
- inode 是文件的唯一身份,同一个文件被打开 10 次只有 1 个 inode 但有 10 个
file;file持有各自的读写偏移。 - dentry cache(dcache) 缓存”路径分量 → inode”的查找结果,这是路径解析快的原因。
inode->i_mapping就是第 3 章的 address_space——VFS 对象与页缓存在此接线。file->f_op是分发点:read_iter/write_iter/mmap… 每种文件系统各自实现,通用文件走generic_file_*系列(页缓存),特殊文件(如pipe、socket、/dev/null)有自己的实现。
2. 一次 open+read 的完整路径
open("/data/testfile")
→ do_sys_open() → path_openat()
→ 路径逐分量解析: link_path_walk() 查 dcache
(未命中 → inode->i_op->lookup, ext4 读目录块)
→ 分配 struct file, 挂到进程 fd 表
read(fd, buf, len)
→ vfs_read() → new_sync_read()
→ file->f_op->read_iter() ← 进入第 3 章的页缓存路径
→ 命中: copy_page_to_iter, 返回
→ 未命中: readahead → submit_bio() ↓ 进入块层
3. 块层:bio 与请求队列
页缓存未命中时,文件系统把”读哪些磁盘块”封装成 bio(block I/O,include/linux/blk_types.h):
bi_io_vec(配合bi_iter遍历):一个 bvec 数组,每项又是一组{page, offset, len}页引用——和第 5 章 skb frags 同源,块层传输的同样只是页引用而不是拷贝的数据。- bio 进入请求队列(request queue)后由 plugging(插塞聚合)和合并逻辑把相邻扇区的请求合并,减少磁盘寻道/命令数。
- 驱动(eMMC 走 CQE/mmc 块驱动,NVMe 走 nvme 驱动)从队列取请求,构建 DMA 描述符,硬件搬运。
I/O 调度器
请求入队时由调度器排序/限流(block/):
- mq-deadline:按读写截止时间排序,读优先于写,通用默认,I/O 延迟稳定;
- bfq:按进程分配带宽份额,交互体验好但开销略高;
- none:多队列高速设备(NVMe)直通。
RK 板查看与切换:cat /sys/block/mmcblk0/queue/scheduler,echo 即可切换。eMMC 场景一般保持 mq-deadline;交互卡顿问题可试 bfq。
4. 回写与 fsync 的块层终点
第 3 章的 submit_bio() 到这里落地。与一致性相关的关键点:
- ext4 默认
data=ordered:先写数据块,再提交日志(元数据)。这保证了崩溃后”文件长度和内容一致”,但不保证write()返回的数据已落盘——只有fsync()保证。 fsync()= 该文件脏页回写(file_write_and_wait_range)+ 日志提交 +blkdev_issue_flush()(让 eMMC 控制器把内部缓存也刷掉)。FSYNC 是嵌入式数据可靠性的最后防线,掉电保护的验证必须基于它。
5. O_DIRECT:绕过页缓存
open(..., O_DIRECT) 后读写不经过页缓存:用户缓冲区与磁盘之间直接 DMA,对齐要求严格(缓冲区地址、长度、偏移都需按逻辑块对齐,通常 512B 或 4KB)。
适用与代价:
- 数据库等自带缓存的应用用它避免”双重缓存”(页缓存一份 + 应用一份)和 write-back 的不可控回写时机;
- 每次读都真落盘,延迟高、无法享受预读合并——第 2 章实验 4 的慢就是代价;
- 与 buffered I/O 混用同一文件需小心一致性(内核已做页缓存失效,但时间窗口内的旧数据仍可能被读到)。
6. io_uring:批量化系统调用
io_uring(io_uring/,6.1 已稳定)用两个共享环消除大部分系统调用开销:
- SQ 环:应用批量提交请求(读/写/
fsync/…);CQ 环:内核批量回填完成事件。空闲时应用甚至不需要陷入内核(IORING_SETUP_SQPOLL)。 - 它本身不消除数据拷贝——buffered 模式仍走页缓存路径;价值在于把”每笔 I/O 一次系统调用”变成”一批 I/O 按需一次交互”,对高队列深度随机 I/O 提升显著。
- 与零拷贝的关系:
io_uring支持IORING_OP_SEND_ZC(网络零拷贝发送)等操作,是第 5 章机制的新载体。
RK 板上验证:有 fio 的话 --ioengine=io_uring --iodepth=32 与 --ioengine=psync 对比 4K 随机读。
7. 实验
-
观察调度器与合并:
cat /sys/block/mmcblk0/queue/scheduler echo 3 > /proc/sys/vm/drop_caches fio --name=t --filename=/data/f --rw=read --bs=4k --iodepth=1 --ioengine=psync fio --name=t --filename=/data/f --rw=read --bs=4k --iodepth=32 --ioengine=io_uring预期:io_uring + 队列深度 32 在 4K 随机读上明显领先(IOPS 翻倍以上,取决于 eMMC 随机读能力与 CQE 支持)。
-
观察 dcache:
slabtop里dentry、ext4_inode_cache的大小随文件访问变化。
自检题
- 同一文件被两个进程打开,内核里有几个 inode、几个
struct file?读偏移互相影响吗? fsync()具体做了哪三件事?fdatasync()省了哪部分?O_DIRECT写模式下write()返回意味着什么?和 buffered 模式有什么本质区别?- 什么场景下 io_uring 提升明显,什么场景下几乎无感?