linux readdir如何提速

在 Linux 下使用 readdir（及其相关函数，如 readdir_r、getdents）遍历目录时，性能瓶颈通常来自系统调用次数、磁盘 I/O、文件数量、元数据获取方式等。下面从原理到实践系统说明如何提速。

一、理解性能瓶颈

1. readdir 的底层机制

• readdir 是基于 getdents / getdents64 系统调用
• 每次调用返回若干目录项（由内核缓冲）
• 真正慢的地方通常是：
  • 目录项极多（几十万/上百万）
  • 遍历后又调用 stat（二次 I/O）
  • 文件系统本身慢（网络文件系统尤甚）

二、最直接有效的提速手段

✅ 1. 使用 getdents64 而非 readdir

readdir 是 libc 封装，有额外开销。

#include <sys/syscall.h>
#include <linux/dirent.h>

syscall(SYS_getdents64, fd, buf, bufsize);

优点：

• 减少 libc 层封装
• 可一次读取更多目录项

⚠️ 可移植性差，仅 Linux

✅ 2. 增大读取缓冲区

readdir 本身不能直接控制，但：

• 使用 fdopendir + 大 buffer
• 或直接使用 getdents64 时设置大 buffer（如 32KB~1MB）

char buf[1024 * 1024];

缓冲区越大，系统调用次数越少。

✅ 3. 避免 stat 每个文件（最重要）

常见错误：

while ((de = readdir(dir))) {
    stat(de->d_name, &st); // ❌ 极慢
}

优化方式：

• 如果只需要文件名：不要 stat
• 如果只要类型：

  de->d_type  // DT_REG / DT_DIR
  

• 使用 statx 批量/异步获取（Linux 4.11+）

✅ 4. 使用 openat + fdopendir

避免路径拼接和重复解析：

int dfd = open(path, O_RDONLY | O_DIRECTORY);
DIR *dir = fdopendir(dfd);

优势：

• 减少 path lookup
• 对递归遍历非常有用

✅ 5. 多线程 / 异步遍历（大目录）

适合：

• 百万级文件
• 多磁盘 / 多目录

方案：

• 每个子目录一个线程
• 使用 io_uring 异步 getdents

三、文件系统层面的优化

✅ 6. 使用更快的文件系统

速度排序（一般）：

tmpfs > ext4 > xfs > btrfs > nfs

对于大目录：

• XFS 优于 ext4
• tmpfs 最快（内存）

✅ 7. 避免网络文件系统（NFS / SMB）

readdir + stat 在 NFS 上是灾难级慢

如果必须用：

• 缓存 (actimeo)
• 批量读取

四、高级方案（极致性能）

✅ 8. 使用 io_uring 异步目录遍历（Linux 5.1+）

io_uring_prep_getdents();

优点：

• 零阻塞
• 高吞吐

适合：

• 搜索引擎
• 备份工具
• 文件索引

✅ 9. 减少目录项数量（架构层面）

• 分目录（hash 分桶）

  a/ab/abc.txt
  

• 单目录不要超过 10 万文件

五、简单对比示例（性能差异巨大）

六、总结建议（实用优先级）

1. 不要 stat
2. 用 d_type
3. 大 buffer / getdents64
4. openat + fdopendir
5. 必要时多线程或 io_uring

如果你愿意，可以：

• 贴出你的 readdir 代码
• 说明文件数量和文件系统类型

我可以给你针对性优化方案或改写好代码。