linux readdir读取大目录慢

在 Linux 下用 readdir()（或其底层 getdents() 系统调用）读取大目录（几十万～上千万文件）确实容易很慢，这通常不是 readdir 本身慢，而是目录结构、文件系统、使用方式共同导致的。下面系统说明原因和可行优化方案。

一、为什么 readdir 大目录慢

1. 目录项本身没有索引

ext4 / xfs / btrfs 的目录本质是一个线性或哈希结构
文件特别多时，readdir 要遍历大量 dentry
随机插入会导致目录项碎片化

2. 每次 readdir 触发 stat（隐性慢）

常见错误写法：

while ((ent = readdir(dir))) {
    stat(ent->d_name, &st); // 非常慢
}

每个文件一次 stat()
大目录下可能几百万次系统调用

3. 文件系统缓存未命中

第一次遍历：必须从磁盘读目录
内存不足：dentry/inode 被回收
网络文件系统（NFS/Ceph）更慢

4. 单目录文件数过多（反模式）

单目录 100 万+ 文件本身就是设计问题
很多文件系统不为此优化

二、优化方案（按收益排序）

✅ 1. 避免 stat（最重要）

如果只是列文件名：

struct dirent *ent;
while ((ent = readdir(dir))) {
    // 不要用 stat
}

需要类型时：

用 d_type（仅部分 FS 支持）

if (ent->d_type == DT_REG) { }

✅ 2. 使用 getdents64 直接读（更快）

readdir 是 libc 封装，有缓冲和格式化开销

示例（简化）：

#include <sys/syscall.h>
#include <linux/dirent.h>

syscall(SYS_getdents64, fd, buf, size);

更适合：

超大目录
只需要文件名
高性能工具（如 ls、find 内部）

✅ 3. 减少目录深度 & 文件数

强烈推荐：

data/
  a/
    a1/
      file_xxx

而不是：

data/
  1000000个文件

常见做法：

哈希分片（取文件名前 2 字符）
时间分片（2026/01/15/）
每目录 ≤ 1–5 万文件

✅ 4. 使用更快的文件系统

文件系统	大目录表现
ext4	一般
xfs	✅ 更好
btrfs	一般
tmpfs	✅ 极快（内存）

XFS 对大目录和并发更好。

✅ 5. 顺序一次性遍历（不要反复 open）

错误：

for each file:
    opendir + readdir

正确：

opendir 一次
readdir 到结束
closedir

✅ 6. 利用 page cache（预热）

第一次慢是正常的：

ls /huge_dir > /dev/null

或

find /huge_dir -maxdepth 1 > /dev/null

✅ 7. 并行（谨慎）

多目录 → 可并行
单目录不要多线程 readdir（不安全且无效）

三、如果是“必须存很多文件”的场景

✅ 推荐替代方案：

对象存储（S3 / MinIO）
数据库（RocksDB / LMDB）
tar / 自定义索引文件

文件系统并不是为“千万小文件”设计的。

四、快速自查清单

[ ] 是否用了 stat？
[ ] 单目录文件是否 > 10 万？
[ ] 是否第一次遍历（无 cache）？
[ ] 是否 NFS / 网络 FS？
[ ] 是否可以用 getdents64？

如果你愿意，可以告诉我：

文件数量级（10万 / 100万 / 千万）
文件系统（ext4 / xfs）
使用语言（C / C++ / Python）
是否必须 stat

我可以直接给你针对性代码或架构方案。