debian readdir如何缓存

在 Debian（或者说 Linux 通用）环境下，readdir 的缓存通常不是一个“单独调用 readdir 就自带缓存”的事情，而是由内核、文件系统、C 库及应用层共同决定的。下面按层次说明常见做法和机制。

一、内核 / VFS 层缓存（最常见、最重要）

1. dentry cache（目录项缓存）

• Linux 内核会自动缓存目录项（struct dentry）
• readdir 返回的目录项，很多来自 dcache
• 命中缓存时，不会真正访问磁盘

查看缓存状态：

cat /proc/slabinfo | grep dentry

清空缓存（测试用）：

sync
echo 2 > /proc/sys/vm/drop_caches

2. page cache（目录内容缓存）

• 目录本身也是文件
• 目录内容（inode + 文件名列表）会被缓存进 page cache
• ext4 / xfs / btrfs 等都受益

二、文件系统层缓存

1. 本地文件系统（ext4 / xfs）

• 默认就“缓存”
• 不需要额外配置
• 对 readdir 非常快（除非目录超大）

2. 网络文件系统（NFS / CIFS）

NFS

• 有属性缓存（actimeo）

mount -o actimeo=60 nfs-server:/path /mnt

• readdirplus 可加速目录遍历

mount -o rdirplus

CIFS

mount -o cache=strict

三、C 库（glibc）层缓存

1. getdents vs readdir

• readdir 是 glibc 封装
• 内部使用 buffer + getdents64
• glibc 不会跨调用缓存目录

如果你多次 opendir + readdir，每次都会重新读。

四、应用层缓存（最可控）

如果你希望“避免频繁 readdir”，可以自己缓存：

示例（C，简单缓存）

DIR *dir = opendir(path);
struct dirent *entry;
while ((entry = readdir(dir))) {
    // 存到 vector / hash / list
}
closedir(dir);

然后：

• 定时刷新
• inode / mtime 变化时失效

五、高性能方案

1. 使用 getdents64 批量读

syscall(SYS_getdents64, fd, buf, size);

• 减少系统调用次数
• 比反复 readdir 快很多

2. 使用 inotify 监听目录变化

inotifywait -m /path

• 目录变更时再重新 readdir
• 避免轮询

3. 使用索引 / 数据库

• 对超大目录（10w+ 文件）
• 用 SQLite / Redis 记录文件名
• readdir 只作为兜底

六、常见误区

❌ “readdir 会自动缓存很久”
✅ 只有内核缓存，应用每次都要系统调用

❌ “close(dir) 后缓存还在”
✅ glibc 不保留目录内容

❌ “目录越大 readdir 越慢是必然”
✅ 很多时候是缓存未命中或 NFS 导致

七、如果你能说明场景，我可以给更具体方案

例如：

• 是 本地还是 NFS？
• 目录里 多少文件？
• 是 C / Python / shell？
• 是否允许 定时刷新？

我可以直接给你最优缓存策略或示例代码。