在 Ubuntu(Linux)下,readdir 系列函数(如 opendir / readdir / readdir_r)用于遍历目录。如果在大量文件或深层目录中感觉很慢,可以从系统层、文件系统层、代码层三个方向来提速。
是 readdir 慢,还是 stat 慢?
readdir 本身只读目录项(文件名)readdir 后调用了 stat() / lstat()while ((entry = readdir(dir))) {
stat(entry->d_name, &st); // 这个经常是瓶颈
}
目录里有多少文件?
getdents 替代 readdir(最直接有效)readdir 是 libc 封装,底层是 getdents64:
#include <sys/syscall.h>
#include <linux/dirent.h>
syscall(SYS_getdents64, fd, buf, size);
ls、find)都这么用stat如果只需要文件名:
// ❌ 慢
stat(entry->d_name, &st);
// ✅ 快
printf("%s\n", entry->d_name);
如果必须 stat,使用:
fstatat(dirfd, entry->d_name, &st, AT_SYMLINK_NOFOLLOW);
openat + fd 避免路径解析int dfd = open(dir, O_RDONLY);
DIR *d = fdopendir(dfd);
减少内核路径查找开销。
readdirreaddir(会竞争锁)| 文件系统 | 说明 |
|---|---|
| ext4 | 默认,稳定 |
| xfs | 大目录性能更好 |
| btrfs | 小文件多时较慢 |
如果是海量小文件,优先考虑 XFS
❌ 不推荐:
/data/
├── 1000000 files
✅ 推荐:
/data/
├── 00/
├── 01/
│ ├── file_xxx
哈希分目录可显著提速。
mount -o noatime,nodiratime /dev/sdX /mnt
避免每次访问更新 atime。
Linux 会自动缓存 dentries:
free -h
# 看 buff/cache
可提前预热:
ls -R /path > /dev/null
vmtouch 锁定目录缓存vmtouch -t /path
DIR *dir = opendir(path);
struct dirent *e;
while ((e = readdir(dir))) {
if (e->d_type == DT_REG)
// 只处理普通文件,避免 stat
}
closedir(dir);
✅ 最有效的方法:
如果你愿意,可以贴出你的:
我可以给你更针对性的优化方案。