Linux下PyTorch文件读写提速实用指南
一 存储与数据布局优化
- 优先使用本地 NVMe SSD 或高性能并行文件系统（如 XFS），对海量小文件场景尤为关键；网络/共享存储（如 NFS/UFS/SSHFS）在小文件随机读上延迟显著，易成为瓶颈。若必须使用共享存储，尽量减少小文件数量与元数据操作。
- 将数据集放入 /dev/shm（tmpfs） 内存盘以加速热数据读取，适合 ≤100GB 的数据集；训练前一次性拷贝进去即可，注意内存容量与并发占用。
- 将海量小图打包为二进制容器（如 LMDB、WebDataset、TFRecord/RecordIO），可显著降低目录遍历与打开关闭文件的开销，并便于顺序流式读取与分布式训练。
- 避免 CV2 对小文件的“分片读取”导致的多次网络往返；如必须使用，尽量整图一次读入后解码，或改用更合适的读取路径（如 PIL 的一次性读取策略）。
二 PyTorch DataLoader与预处理流水线
- 典型高效配置示例：
- num_workers：设为 CPU 物理核心数或略高（避免超线程争用）；
- pin_memory=True：启用锁页内存，H2D 传输走 DMA 更异步；
- prefetch_factor：设为 2–4，让每个 worker 提前准备若干 batch；
- persistent_workers=True：跨 epoch 复用 worker，减少进程重建开销。
- 使用 NVIDIA DALI 将解码与增强下沉到 GPU/专用引擎，减少 CPU 解码与 Python GIL 影响，特别适合高分辨率图像与复杂增强。
- 若仍受限于 Python 层预处理，可将部分算子替换为 TensorRT/ONNX Runtime 或原生库实现，进一步降低 CPU 端阻塞。
三 大数组与模型检查点的二进制IO
- 训练/推理中间结果或大型 ndarray 优先采用 .pt / HDF5 等二进制格式，结合 mmap 或分块并行读写，减少序列化/反序列化与拷贝开销。
- 多进程/多线程并行写入时，控制并发度与分块粒度，避免内存冗余拷贝与文件句柄耗尽；对顺序大块数据，使用线程/进程并行可显著提升吞吐。
- 模型检查点建议：
- 使用 torch.save(…, _use_new_zipfile_serialization=False) 兼容旧版或特定环境；
- 采用 异步/后台线程 写 checkpoint，避免阻塞训练主循环；
- 多卡训练时可只让 rank 0 写盘，或使用分片/合并策略降低单点压力。
四 Linux系统与内核参数调优
- 选择合适的文件系统（如 XFS/ext4）并针对工作负载调参；必要时增大 I/O 调度队列 与缓存相关参数。
- 针对共享存储（NFS/UFS）场景，减少小文件数量、合并 IO、尽量顺序访问；必要时调整挂载选项与 RPC 参数以降低往返次数。
- 使用 ramdisk /dev/shm 时，按需调整大小（如 /etc/fstab 中设置 tmpfs size），避免占用过多内存影响其他进程。
- 监控与定位：用 iostat -x 1、vmstat 1、nvidia-smi dmon、htop 观察磁盘 util、await、svctm、GPU 利用率与数据加载耗时，定位是存储、CPU 解码还是网络瓶颈。
五 场景化配置建议
- 本地 SSD + 小中规模数据集（≤100GB）：数据放 /dev/shm + DataLoader(num_workers=8–16, pin_memory=True, prefetch_factor=2–4, persistent_workers=True) +（可选）DALI。
- 网络/共享存储（NFS/UFS/SSHFS）或海量小文件：先打包为 LMDB/WebDataset/TFRecord，再配合多 worker 顺序流式读取；尽量整图读取，减少随机访问与元数据往返。
- 超大数组读写（特征/中间结果/检索库）：用 .pt/HDF5 + mmap + 分块并行；写入侧控制并发与缓冲，避免抖动与 OOM。
