ubuntu pytorch为什么崩溃

在 Ubuntu 上 PyTorch 崩溃（crash）的原因有很多，下面按常见原因 → 排查方法 → 解决建议给你一个系统性的总结。

一、最常见崩溃原因

1. CUDA / 驱动不兼容（最常见）

典型表现

• 程序直接 Segmentation fault (core dumped)
• 一调用 .cuda() 或 model.to("cuda") 就崩
• 报错类似：

  CUDA driver version is insufficient
  

原因

• PyTorch 版本与 CUDA 版本不匹配
• NVIDIA 驱动太旧
• 多人共用机器，CUDA 环境混乱

排查

nvidia-smi
nvcc --version
python -c "import torch; print(torch.version.cuda)"

解决

• 用官方推荐组合：
  https://pytorch.org/get-started/previous-versions/
• 或优先用 pip + CUDA 11.8 / 12.1

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

2. 显存不足（OOM）

典型表现

• 训练中突然退出
• 无 Python 报错，直接 kill
• nvidia-smi 显存 100%

解决

• 减小 batch_size
• 使用 torch.cuda.empty_cache()
• 开启梯度检查点
• 用 export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

3. 多线程 / DataLoader 崩溃

典型表现

• 一开 num_workers > 0 就崩
• RuntimeError: DataLoader worker is killed

原因

• OpenCV + threading 冲突
• 共享内存不足

解决

# 临时解决
export OMP_NUM_THREADS=1

或

DataLoader(..., num_workers=0)

4. 用了错误的 PyTorch 安装方式

错误示例

• conda 装了 CPU 版，却调用 .cuda()
• 系统 Python 和虚拟环境混用

检查

python -c "import torch; print(torch.cuda.is_available())"

5. glibc / ABI 不兼容（服务器常见）

典型表现

• import torch 就崩
• undefined symbol
• GLIBCXX_3.4.29 not found

解决

• 升级系统或重装匹配版本 PyTorch
• 优先用 Docker

6. 硬件问题（较少但真实）

• 显卡硬件故障
• 显存损坏
• 电源不稳

验证

nvidia-smi -q -d MEMORY

二、快速自查清单（建议你照着做）

# 1. 系统
uname -a
lsb_release -a

# 2. 驱动
nvidia-smi

# 3. CUDA
nvcc --version

# 4. PyTorch
python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

三、如果你愿意，我可以更精准帮你

你可以把下面信息发我：

1. Ubuntu 版本
2. PyTorch 版本
3. 显卡型号
4. 崩溃时的完整报错
5. 是训练崩还是一运行就崩

我可以直接帮你定位是哪一类问题，并给出最小修改方案。