debian readdir为啥读取速度慢

在 Debian（以及其它 Linux 发行版）上，readdir() 读取目录“慢”通常不是 readdir 本身的问题，而是使用方式 + 文件系统 + 目录规模共同导致的。下面按常见原因从高到低说明。

1. 最常见原因：在 readdir 循环里做了 stat / 打开文件

很多人写的是：

while ((ent = readdir(dir)) != NULL) {
    stat(ent->d_name, &st);   // ❌ 这里很慢
}

问题不在 readdir，而在：

• stat() 会触发 额外磁盘 IO
• 每个文件一次 metadata 读取
• 目录有 10 万文件 → 10 万次 stat

✅ 正确做法：

• 用 readdir() + d_type（如果文件系统支持）
• 或一次性 scandir()
• 或 getdents64()（底层系统调用）

Debian 上 ext4 / xfs 一般支持 d_type：

if (ent->d_type == DT_REG) { ... }

2. 目录里文件太多（10万+）

readdir 本身是顺序读目录项，但：

• 目录项线性存储
• 没有索引
• 文件越多，遍历越慢

表现：

• 1 万文件：很快
• 50 万文件：明显慢
• 几百万文件：非常慢

✅ 优化：

• 拆分目录（hash 分桶）
• 使用数据库或索引
• 使用 getdents64 批量读

3. 用的是 readdir() 而不是 readdir64() / getdents64()

老代码常见：

readdir()      // 32 位接口

在大型目录、inode 很大时：

• 多次系统调用
• 额外转换开销

✅ 推荐：

• glibc 默认已经是 readdir64
• 直接用 getdents64 性能最好

4. 文件系统类型影响很大

如果你是在：

• Docker 容器
• NFS 挂载目录
• 网络盘

那 readdir 慢是必然的

5. 目录在机械硬盘（HDD）

• 随机 IO 极慢
• 元数据未缓存时尤其明显

可以验证：

free -h
cat /proc/sys/vm/vfs_cache_pressure

第一次慢、第二次快 → 说明是 page cache / dentry cache

6. 没有利用缓存（冷启动）

第一次：

time ls dir

第二次：

time ls dir

如果第二次快很多 → 不是代码问题，是缓存问题

7. 调试建议（很重要）

看是不是 readdir 慢

strace -e trace=readdir,getdents64 ls dir

看目录文件数

ls dir | wc -l

看文件系统

df -T dir

8. 高性能替代方案

C 语言

syscall(SYS_getdents64, fd, buf, size);

Shell

find dir -maxdepth 1

更好的设计

• 不要“扫目录”
• 用数据库记录文件
• 用事件通知（inotify）

总结一句话

Debian 上 readdir 慢，90% 不是 readdir 慢，而是在循环里 stat / 目录太大 / 文件系统不行。

如果你愿意，可以：

• 贴代码
• 说目录规模（多少文件）
• 文件系统类型

我可以直接帮你定位瓶颈并给优化方案。