centos pytorch训练慢怎么办

在 CentOS 上 PyTorch 训练慢，通常不是单一原因，下面按最常见 → 最容易被忽略的顺序给你排查清单和优化建议。

一、先确认是不是“真慢”（定位瓶颈）

1️⃣ 看 GPU 是否真的在用

nvidia-smi
watch -n 1 nvidia-smi

✅ 正常情况：

• GPU 利用率 >70%
• 显存被占用
• 温度上升

❌ 如果：

• GPU 利用率很低（<30%）
• CPU 100%，GPU 闲着
  → 数据加载或代码问题

二、最常见原因 & 解决办法

✅ 1. 数据加载太慢（80% 的“训练慢”原因）

检查 DataLoader

DataLoader(..., num_workers=?, pin_memory=True)

✅ 推荐设置：

num_workers = 4~8  # 不要超过 CPU 核心数
pin_memory=True

❌ 常见问题：

• num_workers=0（默认，极慢）
• 数据在 HDD 而不是 SSD
• 每个 batch 做复杂预处理（resize/解码）

✅ 优化：

• 用 TFRecord / LMDB / WebDataset
• 预处理提前做好
• 用 torchvision.io.decode_image（比 PIL 快）

✅ 2. PyTorch 没用上 GPU

确认：

print(torch.cuda.is_available())
print(torch.backends.cudnn.enabled)

✅ 正确用法：

device = "cuda"
model.to(device)
x = x.to(device)

❌ 常见错误：

• model.cuda() 但输入在 CPU
• .cpu() 操作穿插在训练中

✅ 3. 没开 cudnn 加速

torch.backends.cudnn.benchmark = True
torch.backends.cudnn.deterministic = False

⚠️ 注意：

• 输入尺寸固定时 benchmark=True 才有收益
• 尺寸变化大会变慢

✅ 4. CentOS 系统级别问题

（1）CUDA / 驱动不匹配

nvidia-smi
nvcc --version

✅ 要求：

• 驱动 ≥ CUDA 要求
• PyTorch CUDA 版本匹配

推荐用官方 wheel：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

（2）CPU 性能模式没开

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

如果是 powersave：

sudo cpupower frequency-set -g performance

✅ 5. 混合精度（非常关键）

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()
with autocast():
    out = model(x)
    loss = loss_fn(out, y)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

✅ 收益：

• 显存 ↓
• 速度 ↑ 30%~100%

✅ 6. batch size 太小

太小 → GPU 喂不饱

三、进阶优化（可选）

• ✅ torch.compile()（PyTorch 2.0+）
• ✅ 多卡 DistributedDataParallel
• ✅ 使用 channels_last 格式
• ✅ 禁用 Python print（很慢）

四、快速自检表 ✅

五、如果你愿意，我可以直接帮你定位

你可以贴：

1. nvidia-smi 截图
2. DataLoader 代码
3. 模型大小 / batch size
4. GPU 型号

我可以直接告诉你卡在哪、怎么改最快。