PyTorch在CentOS上的资源占用概览
在CentOS上，PyTorch的资源占用主要由模型规模、批量大小、数据精度与是否使用GPU决定。GPU训练时显存消耗通常较为显著，复杂模型可达数GB乃至更多显存；CPU与系统内存压力则受数据加载、预处理与线程数影响。通用硬件建议为：CPU至少2核/2GB（更推荐多核与更大内存）、存储优先SSD/NVMe，有GPU时显存越大越好（如GTX 1660 Ti及以上）。这些因素共同决定CPU、内存、GPU与I/O的占用水平。
主要影响因素
- 模型复杂度与批量大小：模型更深、更宽或batch size更大，会线性或超线性推高GPU显存与系统内存占用。
- 数据精度与格式：使用FP16/BF16或INT8量化可显著降低显存/带宽占用，需结合硬件与精度需求权衡。
- 数据加载与预处理：低效的I/O与预处理会放大CPU与内存压力，成为瓶颈。
- 并发与线程数：数据加载的num_workers、PyTorch的OMP_NUM_THREADS与torch.set_num_threads设置不当，会导致CPU占用过高或资源争用。
- 版本与优化：PyTorch 2.x的torch.compile等特性可提升效率，间接降低资源占用与运行时间。
快速定位占用瓶颈
- 系统层面：使用htop/top观察CPU与内存，free -m查看系统内存与缓存，watch -n 1 nvidia-smi实时查看GPU显存/利用率/温度。
- 进程与代码层面：用psutil在脚本内打印进程RSS内存与CPU百分比；用torch.cuda.memory_allocated与torch.cuda.memory_reserved监控显存分配与缓存。
- 可视化：使用TensorBoard记录并可视化损失、学习率与自定义指标，辅助定位训练过程中的资源与性能变化。
降低资源占用的实用做法
- 训练与推理优化：在推理阶段使用torch.no_grad()；必要时调用torch.cuda.empty_cache()释放未使用显存；对不再需要的张量及时del并触发垃圾回收。
- 精度与内存：启用AMP自动混合精度或BF16（若硬件支持），在接近精度目标的同时降低显存与计算开销。
- 批量与并行：适度减小batch size；使用梯度累积维持有效批量；数据加载合理设置num_workers；必要时采用分布式训练（如DistributedDataParallel）。
- 线程与算子放置：通过torch.set_num_threads与OMP_NUM_THREADS限制CPU线程数；尽量在GPU上直接生成随机数（如利用torch.randn(shape, out=…)），避免先在CPU大张量再拷贝到GPU。
- 系统与存储：优先SSD/NVMe以加速数据读取；监控I/O等待并优化数据管线。
常见症状与对应处理
- GPU显存不足（CUDA out of memory）：减小batch size，开启AMP/BF16，用梯度累积替代大批次，必要时采用分布式训练或多卡并行。
- CPU占用过高、GPU利用率低：降低num_workers与torch.set_num_threads，避免CPU端大张量构造与拷贝，尽量在GPU上直接生成数据。
- 训练/推理变慢：升级至PyTorch 2.x并使用torch.compile优化模型图；优化数据加载与预处理管线，减少I/O阻塞。
- 系统内存吃紧或频繁换页：增大物理内存，合理配置Swap（仅作兜底），清理无用进程与缓存，避免内存泄漏。
