零拷贝专题
前面章节的所有积累在这里收口:页缓存是唯一数据源(第 3 章),块层与网络栈传输的都只是页引用(第 4 章),本章讲网络发送方向如何做到全程零 CPU 拷贝,以及文件间零拷贝 copy_file_range。源码以 6.1 为准:fs/splice.c、net/core/skbuff.c。
1. 问题回顾:read+write 的四次拷贝
读文件并发网络发送,传统写法 read() + write()(或 send()):
- DMA:磁盘 → 页缓存
- CPU:页缓存 → 用户缓冲区(
copy_page_to_iter) - CPU:用户缓冲区 → socket 缓冲区(
copy_from_iter) - DMA:socket 缓冲区 → 网卡
外加 4 次用户/内核态切换。应用没有修改数据,第 2、3 次 CPU 拷贝纯属搬运。
2. sendfile:数据不再经过用户态
sendfile(out_sock, in_file, NULL, count) 的内核路径(6.1):
sys_sendfile64 → do_sendfile()
→ do_splice_direct(in_file → out_file)
→ splice_direct_to_actor()
→ generic_file_splice_read() 文件侧: 页缓存页填入缓冲
→ direct_splice_actor() → splice_to_socket() socket 侧
→ 把页引用转成 BVEC 交给 tcp_sendmsg_locked()
效果:
- 第 2 次拷贝消失:数据不进用户态;
- 第 3 次拷贝退化:TCP 组包时 skb 直接引用页缓存页放进
frags(见第 4 节),也没有拷贝; - 系统调用从 2 次减为 1 次。
generic_file_splice_read() 的本质:不真的传输数据,而是把页缓存的 folio 以引用形式”借”给下游,同时 folio_get() 加引用计数,发完再还。
3. splice 与管道:零拷贝的通用底座
Linux 管道不是字节队列,是页引用数组。fs/pipe.c:
struct pipe_buffer {
struct page *page; /* 数据所在物理页(只引用,不拥有) */
unsigned int offset, len;
const struct pipe_buf_operations *ops;
unsigned int flags;
unsigned long private;
};
/* pipe_inode_info->bufs: 16 个 pipe_buffer 的环形数组 */
splice() 家族就是在这张”引用登记表”上倒手:
splice(fd_in → pipe):把文件页/socket 接收页填进pipe_buffer数组(splice_to_pipe());splice(pipe → fd_out):把引用转交下游,同一批物理页从头用到尾,一次字节拷贝都没有;tee(pipe_a, pipe_b):两个管道共享同一批页引用,“复制”的只是登记项;vmsplice(fd → pipe):把用户内存的页挂进管道(配合 GUP 钉住用户页)。
限制:splice 的两端至少一端是管道,所以文件→socket 要 splice(file→pipe) + splice(pipe→sock) 两步(glibc 的 sendfile 帮你封装了)。管道 16 个缓冲项也是吞吐瓶颈之一,大文件发送时 sendfile 路径内部会循环填放。
4. 网络栈:skb frags 与”只发引用”
sk_buff 的数据有两个区:线性区(skb->data 指向的连续缓冲)和 paged 区(frags)。零拷贝路径把页缓存页挂在后者:
typedef struct bio_vec skb_frag_t; /* include/linux/skbuff.h */
struct bio_vec {
struct page *bv_page; /* 正是页缓存那个物理页 */
unsigned int bv_len;
unsigned int bv_offset;
};
skb_fill_page_desc() 把页缓存 folio 的 page 挂进 skb_shinfo(skb)->frags[]。skb 线性区里只有 TCP/IP 头,payload 是别人的页缓存。
发送侧驱动把每个 frag 的物理地址 + 长度填进网卡 TX 描述符,SG-DMA(scatter-gather DMA)按描述符直接从页缓存搬运:
- 查网卡能力:
ethtool -k eth0 | grep scatter-gather,开着的 SG 才能零拷贝发送; - 叠加 offload 让 CPU 连头都不碰数据:TSO/GSO(把 64KB 大段交给网卡分片)、checksum offload(校验和硬件算)。
ethtool -k里tcp-segmentation-offload、rx-checksumming等; - 页何时释放:TX 完成 + 对端 ACK 后,TCP 层逐个
skb_frag_unref()→folio_put()。引用计数保证 DMA 读页时页绝不会被回收改作他用——这就是零拷贝的安全性来源。
5. MSG_ZEROCOPY:用户内存直通网卡
页缓存路径之外,发送用户态缓冲区也可以零拷贝:send(fd, buf, len, MSG_ZEROCOPY)(需先 setsockopt(SOL_SOCKET, SO_ZEROCOPY, ...)):
- 内核
pin_user_pages()把用户缓冲区的物理页钉住,页引用直接挂进 skb frags; - 函数立即返回,此时用户绝不能改写 buf——网卡可能还在读它;
- 发送完成后内核往 error queue 投递
SO_EE_ORIGIN_ZEROCOPY回执,recvmsg(..., MSG_ERRQUEUE)读到后才能复用 buf。
适用大块(≥10KB)、发送频率可控的场景;小块收益抵不过 pin 页和回执开销。Kafka/高性能网关是典型用户。
6. 文件间零拷贝:copy_file_range 与 reflink
copy_file_range(fd_in, ..., fd_out, ...)(fs/read_write.c):优先让文件系统自己做;不支持的文件系统回退do_splice_direct(页缓存页引用传递,省用户态往返但仍有一次盘到盘复制)。- XFS/Btrfs 支持 reflink(
remap_file_range):两个文件指向同一批物理块,复制是元数据操作,O(1) 完成且不占新空间;写时分裂(COW)。 FICLONEioctl:容器镜像层、快照的底层机制。- 嵌入式相关性:ext4 不支持 reflink;f2fs 也不支持。板卡上通常用不上 reflink,但
copy_file_range的 splice 回退路径仍然省用户态拷贝。
7. 收益模型与局限
| 手段 | CPU 拷贝次数(文件→网卡) | 适用 |
|---|---|---|
| read+write | 2 | 需要修改数据 |
| mmap+write | 1 | 需要读/改部分数据 |
| sendfile | 1(无 SG-DMA) | 静态文件服务 |
| sendfile+SG-DMA | 0 | 同上,性能最佳 |
| splice | 0 | 管道化流式转发 |
局限(何时不要用零拷贝):
- 数据需要加密/压缩/协议改写——中间必须过 CPU,硬零拷贝反增加复杂度(TLS 场景 kTLS 是例外,加密下沉到网卡)。
- 小文件/小消息:拷贝本身不是瓶颈(4KB memcpy 纳秒级),系统调用与锁才是;此时 io_uring 批量化收益大于零拷贝。
- sendfile 输出必须是普通文件/socket 等支持 splice 的对象;输出到 TLS socket、加密信道需额外设施。
8. 实验
- 对比 CPU 占用:写两个小程序(C 各约 20 行,
read/write循环 vssendfile循环)通过回环或真实网口发送同一 256MB 文件,top看%sy,sendfile 明显更低;strace -c对比系统调用次数与耗时。 - 验证 SG-DMA:
ethtool -k eth0,off时再跑 sendfile 版本,CPU 占用回升——这就是第 1 次”残余拷贝”(skb 缓冲区内一次 CPU 拷贝)的效果。 - ftrace 看 splice 路径:
events/splice/下有splice_read/splice_write事件。
自检题
- sendfile 在网卡不支持 SG-DMA 时还剩几次 CPU 拷贝?发生在哪里?
pipe_buffer里存的是什么?tee复制了什么、没复制什么?- TCP 发送一个 skb 的 frags 里的页缓存页,内核靠什么保证 DMA 读完前这个页不被回收?
- MSG_ZEROCOPY 为什么必须等 error queue 回执后才能复用缓冲区?
- 给”静态资源 HTTP 服务器”和”TLS 加密代理”分别选择发送方案并说明理由。