面向 CentOS 的 readdir 性能测试工具与方法
一、首选工具与适用场景
- mdtest：元数据基准测试工具，可测量目录/文件的创建、统计、删除等操作的吞吐与延迟，适合评估目录密集型工作负载（如海量小文件的遍历与元数据压力）。常用参数：-d 测试目录、-n 每进程对象数、-i 循环次数、-D/-F 仅目录/仅文件。示例：mdtest -d /mnt/test -n 30000 -i 3。
- fdtree：目录树创建与清理的压力工具，便于构造“宽目录/深目录”并测量创建/删除耗时，适合验证超大目录结构对 readdir 的影响。示例：fdtree.bash -d 1 -l 2 -f 10000 -s 10000（2 层目录、每层 1 个目录、每目录 1 万文件、每文件约 40MB）。
- lmbench：系统微基准套件，包含文件/目录相关操作延迟与带宽测量，可用于对比不同文件系统或内核参数下的目录遍历开销。
- dbench：文件系统基准，能生成类似 SMB/NFS 的负载，对包含大量目录操作的真实工作负载有参考价值（更偏向综合文件系统而非单一 readdir）。
- iozone：面向文件 I/O 的基准，虽以读写为主，但可结合大目录场景评估页缓存与目录项缓存对整体访问的影响（建议与元数据工具联用）。
二、系统级观测与瓶颈定位工具
- strace -e getdents,readdir：跟踪目录遍历相关系统调用，观察调用次数、返回条目与耗时分布，定位是否因频繁调用或单次返回条目过少导致开销放大。
- perf top/stat：对内核/用户态热点函数进行采样或计数，识别 readdir/getdents、VFS、页缓存命中率等瓶颈点。
- iostat -x 1 / iotop：监控磁盘 I/O 利用率、队列与响应时间，判断目录遍历是否受底层存储限制（如 IOPS/延迟成为瓶颈）。
- LTTng + bcc/eBPF：对 VFS、page cache、ext4/xfs 等关键路径进行低开销追踪，深入分析目录项缓存命中、分配与回收行为。
三、快速上手测试流程
- 准备数据集
- 小样本快速验证：在测试目录生成10 万级小文件。示例：for i in {1…100000}; do echo A > $i.txt; done
- 大样本压力测试：生成百万级小文件（示例见下文“注意事项”）。
- 冷/热缓存对比
- 冷缓存：echo 3 > /proc/sys/vm/drop_caches（需 root），再执行测试；
- 热缓存：直接执行，观察 page cache 带来的吞吐差异。
- 运行元数据基准
- mdtest：mdtest -d /mnt/test -n 50000 -i 3（按需调整对象数与循环次数）；
- fdtree：fdtree.bash -d 1 -l 2 -f 10000 -s 10000（构造宽目录压力）。
- 运行系统观测
- strace -T -e getdents,readdir -p 或 strace -c -e getdents,readdir ；
- perf stat -e ‘syscalls:sys_enter_getdents*’ -p ；
- iostat -x 1 观察磁盘负载是否成为瓶颈。
- 记录与复测
- 固定测试目录、文件规模、并发度与挂载选项；
- 每个场景至少3 次取中位数，报告 P50/P95/P99 延迟与吞吐。
四、结果解读与优化方向
- 结果解读要点
- 若冷缓存显著慢于热缓存，说明目录项/页缓存命中是关键；
- 若 strace 显示getdents 调用次数异常多或单次返回条目偏小，说明目录项缓存/缓冲策略需要优化；
- 若 iostat 显示await/svctm 高、磁盘利用率接近饱和，说明底层存储是瓶颈（需考虑更优的存储/布局）。
- 优化方向（结合测试反馈）
- 目录结构：避免超大单目录，按业务键做分层/分桶；
- 挂载选项：使用noatime减少元数据写入；
- 文件系统：在 CentOS 常见选择中，结合负载在 XFS/EXT4 间做 A/B 测试；
- 缓存策略：保障足够内存、减少频繁目录遍历；必要时应用侧做结果缓存；
- 并发遍历：如需并发 readdir，可采用多线程/多进程或基于concurrent.futures的线程池，注意文件系统与锁竞争的影响。
五、注意事项
- 生成百万级小文件会占用大量inode 与磁盘空间，务必在隔离环境测试并预留足够空间；示例：for i in {1…1000000}; do echo ‘A’ > $i.txt; done（请谨慎执行）。
- 为减少干扰，测试前停止无关服务、绑定 CPU/内存亲和性、固定测试目录与文件布局；对 ext4/xfs 等可结合调整挂载选项与文件系统参数进行对比验证。
