centos跑pytorch卡怎么办

在 CentOS 上跑 PyTorch 卡（卡顿、慢、无响应等），一般可以从系统环境、CUDA、PyTorch 配置、资源占用、代码本身几个方向排查。下面按“先快后慢”的思路给你一套排查和解决方法。

一、先确认是“真卡”还是“配置问题”

1. 看 CPU / 内存是否爆了

top
# 或
htop

重点关注：

• CPU 是否 100%（单核或整体）
• 内存是否接近用完（开始用 swap）

如果内存爆了：

• 减小 batch size
• 用 torch.utils.data.DataLoader(num_workers=...) 控制线程
• 避免一次性把数据全加载进内存

2. 看是不是在用 GPU

很多人“以为在用 GPU，其实在跑 CPU”。

import torch
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.get_device_name(0))

如果是 False：

• CentOS 常见原因：
  • 没装 NVIDIA 驱动
  • CUDA 版本和 PyTorch 不匹配
  • 用的是 CPU 版 PyTorch

二、CentOS 上 GPU 环境的常见坑

3. NVIDIA 驱动 & CUDA 检查

nvidia-smi

如果报错：

• NVIDIA-SMI has failed → 驱动没装或内核不匹配
• CentOS 常见坑：
  • 用了默认 nouveau 驱动（必须禁掉）
  • 内核升级后驱动失效

禁用 nouveau：

echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/disable-nouveau.conf
reboot

4. PyTorch 和 CUDA 版本必须对应

比如：

• PyTorch 1.13 → CUDA 11.7
• PyTorch 2.0 → CUDA 11.8
• PyTorch 2.1+ → CUDA 12.x

查看 PyTorch CUDA：

torch.version.cuda

不匹配就重装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

三、训练时“卡住不动”的常见原因

5. DataLoader 卡死（CentOS 高发）

CentOS 上常见原因：

• num_workers > 0 但用了 incompatible 的 fork
• 数据集里有死循环 / 阻塞 IO

调试方法：

train_loader = DataLoader(..., num_workers=0)

如果能跑，就说明是 num_workers 的问题。

解决：

• 减少 num_workers
• 设置：

torch.multiprocessing.set_start_method('spawn')

6. 第一次运行特别慢（正常）

PyTorch 在 CentOS 上第一次：

• CUDA 初始化慢
• cuDNN 自动 tuning 慢

可设置：

torch.backends.cudnn.benchmark = True

（前提是输入 size 固定）

四、系统层面优化（CentOS 特有）

7. 关闭节能模式

cpupower frequency-info
cpupower frequency-set -g performance

8. 检查磁盘 IO

数据在机械盘或 NFS 上会非常卡：

iostat -x 1

建议：

• 数据放本地 SSD
• 或先缓存到 /dev/shm

五、最简排查清单（照着做）

1. nvidia-smi 能看见 GPU 吗？
2. torch.cuda.is_available() 是 True 吗？
3. 训练时 nvidia-smi 里显存和利用率在动吗？
4. num_workers=0 是否变快？
5. 内存有没有爆？

六、如果你愿意，我可以更精准帮你

你可以直接贴：

• CentOS 版本（cat /etc/redhat-release）
• GPU 型号
• PyTorch 版本
• 卡在启动 / 训练 / 推理哪一步
• 是否有 nvidia-smi 输出

我可以直接告诉你“这一步该改哪一行”。