学习 / TSENGCHEN BLOG

Linux-PageCache-And-IO--05-Zero-Copy

01_Learning · 第 8 / 23 篇

零拷贝专题

前面章节的所有积累在这里收口:页缓存是唯一数据源(第 3 章),块层与网络栈传输的都只是页引用(第 4 章),本章讲网络发送方向如何做到全程零 CPU 拷贝,以及文件间零拷贝 copy_file_range。源码以 6.1 为准:fs/splice.c、net/core/skbuff.c。

1. 问题回顾:read+write 的四次拷贝

读文件并发网络发送,传统写法 read() + write()(或 send()):

  1. DMA:磁盘 → 页缓存
  2. CPU:页缓存 → 用户缓冲区(copy_page_to_iter)
  3. CPU:用户缓冲区 → socket 缓冲区(copy_from_iter)
  4. DMA:socket 缓冲区 → 网卡

外加 4 次用户/内核态切换。应用没有修改数据,第 2、3 次 CPU 拷贝纯属搬运。

2. sendfile:数据不再经过用户态

sendfile(out_sock, in_file, NULL, count) 的内核路径(6.1):

sys_sendfile64 → do_sendfile()
  → do_splice_direct(in_file → out_file)
    → splice_direct_to_actor()
      → generic_file_splice_read()   文件侧: 页缓存页填入缓冲
      → direct_splice_actor() → splice_to_socket()   socket 侧
        → 把页引用转成 BVEC 交给 tcp_sendmsg_locked()

效果:

  • 第 2 次拷贝消失:数据不进用户态;
  • 第 3 次拷贝退化:TCP 组包时 skb 直接引用页缓存页放进 frags(见第 4 节),也没有拷贝;
  • 系统调用从 2 次减为 1 次。

generic_file_splice_read() 的本质:不真的传输数据,而是把页缓存的 folio 以引用形式”借”给下游,同时 folio_get() 加引用计数,发完再还。

3. splice 与管道:零拷贝的通用底座

Linux 管道不是字节队列,是页引用数组。fs/pipe.c:

struct pipe_buffer {
    struct page *page;      /* 数据所在物理页(只引用,不拥有) */
    unsigned int offset, len;
    const struct pipe_buf_operations *ops;
    unsigned int flags;
    unsigned long private;
};
/* pipe_inode_info->bufs: 16 个 pipe_buffer 的环形数组 */

splice() 家族就是在这张”引用登记表”上倒手:

  • splice(fd_in → pipe):把文件页/socket 接收页填进 pipe_buffer 数组(splice_to_pipe());
  • splice(pipe → fd_out):把引用转交下游,同一批物理页从头用到尾,一次字节拷贝都没有;
  • tee(pipe_a, pipe_b):两个管道共享同一批页引用,“复制”的只是登记项;
  • vmsplice(fd → pipe):把用户内存的页挂进管道(配合 GUP 钉住用户页)。

限制:splice 的两端至少一端是管道,所以文件→socket 要 splice(file→pipe) + splice(pipe→sock) 两步(glibc 的 sendfile 帮你封装了)。管道 16 个缓冲项也是吞吐瓶颈之一,大文件发送时 sendfile 路径内部会循环填放。

4. 网络栈:skb frags 与”只发引用”

sk_buff 的数据有两个区:线性区(skb->data 指向的连续缓冲)和 paged 区(frags)。零拷贝路径把页缓存页挂在后者:

typedef struct bio_vec skb_frag_t;   /* include/linux/skbuff.h */
struct bio_vec {
    struct page *bv_page;   /* 正是页缓存那个物理页 */
    unsigned int bv_len;
    unsigned int bv_offset;
};

skb_fill_page_desc() 把页缓存 folio 的 page 挂进 skb_shinfo(skb)->frags[]。skb 线性区里只有 TCP/IP 头,payload 是别人的页缓存。

发送侧驱动把每个 frag 的物理地址 + 长度填进网卡 TX 描述符,SG-DMA(scatter-gather DMA)按描述符直接从页缓存搬运:

  • 查网卡能力:ethtool -k eth0 | grep scatter-gather,开着的 SG 才能零拷贝发送;
  • 叠加 offload 让 CPU 连头都不碰数据:TSO/GSO(把 64KB 大段交给网卡分片)、checksum offload(校验和硬件算)。ethtool -k 里 tcp-segmentation-offload、rx-checksumming 等;
  • 页何时释放:TX 完成 + 对端 ACK 后,TCP 层逐个 skb_frag_unref() → folio_put()。引用计数保证 DMA 读页时页绝不会被回收改作他用——这就是零拷贝的安全性来源。

5. MSG_ZEROCOPY:用户内存直通网卡

页缓存路径之外,发送用户态缓冲区也可以零拷贝:send(fd, buf, len, MSG_ZEROCOPY)(需先 setsockopt(SOL_SOCKET, SO_ZEROCOPY, ...)):

  1. 内核 pin_user_pages() 把用户缓冲区的物理页钉住,页引用直接挂进 skb frags;
  2. 函数立即返回,此时用户绝不能改写 buf——网卡可能还在读它;
  3. 发送完成后内核往 error queue 投递 SO_EE_ORIGIN_ZEROCOPY 回执,recvmsg(..., MSG_ERRQUEUE) 读到后才能复用 buf。

适用大块(≥10KB)、发送频率可控的场景;小块收益抵不过 pin 页和回执开销。Kafka/高性能网关是典型用户。

  • copy_file_range(fd_in, ..., fd_out, ...)(fs/read_write.c):优先让文件系统自己做;不支持的文件系统回退 do_splice_direct(页缓存页引用传递,省用户态往返但仍有一次盘到盘复制)。
  • XFS/Btrfs 支持 reflink(remap_file_range):两个文件指向同一批物理块,复制是元数据操作,O(1) 完成且不占新空间;写时分裂(COW)。
  • FICLONE ioctl:容器镜像层、快照的底层机制。
  • 嵌入式相关性:ext4 不支持 reflink;f2fs 也不支持。板卡上通常用不上 reflink,但 copy_file_range 的 splice 回退路径仍然省用户态拷贝。

7. 收益模型与局限

手段CPU 拷贝次数(文件→网卡)适用
read+write2需要修改数据
mmap+write1需要读/改部分数据
sendfile1(无 SG-DMA)静态文件服务
sendfile+SG-DMA0同上,性能最佳
splice0管道化流式转发

局限(何时不要用零拷贝):

  1. 数据需要加密/压缩/协议改写——中间必须过 CPU,硬零拷贝反增加复杂度(TLS 场景 kTLS 是例外,加密下沉到网卡)。
  2. 小文件/小消息:拷贝本身不是瓶颈(4KB memcpy 纳秒级),系统调用与锁才是;此时 io_uring 批量化收益大于零拷贝。
  3. sendfile 输出必须是普通文件/socket 等支持 splice 的对象;输出到 TLS socket、加密信道需额外设施。

8. 实验

  1. 对比 CPU 占用:写两个小程序(C 各约 20 行,read/write 循环 vs sendfile 循环)通过回环或真实网口发送同一 256MB 文件,top 看 %sy,sendfile 明显更低;strace -c 对比系统调用次数与耗时。
  2. 验证 SG-DMA:ethtool -k eth0,off 时再跑 sendfile 版本,CPU 占用回升——这就是第 1 次”残余拷贝”(skb 缓冲区内一次 CPU 拷贝)的效果。
  3. ftrace 看 splice 路径:events/splice/ 下有 splice_read/splice_write 事件。

自检题

  1. sendfile 在网卡不支持 SG-DMA 时还剩几次 CPU 拷贝?发生在哪里?
  2. pipe_buffer 里存的是什么?tee 复制了什么、没复制什么?
  3. TCP 发送一个 skb 的 frags 里的页缓存页,内核靠什么保证 DMA 读完前这个页不被回收?
  4. MSG_ZEROCOPY 为什么必须等 error queue 回执后才能复用缓冲区?
  5. 给”静态资源 HTTP 服务器”和”TLS 加密代理”分别选择发送方案并说明理由。

参考答案见 07-Appendix-Answers-and-Resources.md。

01_Learning · 文档目录
上一篇Linux-PageCache-And-IO--04-VFS-and-IO-Stack下一篇Linux-PageCache-And-IO--06-Embedded-DMA-Practice