linux pytorch为何崩溃

Linux 下 PyTorch 崩溃的原因很多，常见可以归为以下几类。你可以对照看看更接近哪一种：

1️⃣ CUDA / 驱动问题（最常见）

表现

• CUDA error
• device-side assert triggered
• 训练几步后直接退出
• Segmentation fault (core dumped)

常见原因

• NVIDIA 驱动版本 ≠ CUDA 版本
• PyTorch 编译的 CUDA 版本与系统不一致
• 多卡环境下 CUDA_VISIBLE_DEVICES 设置错误
• 显存溢出（OOM）

排查

nvidia-smi
nvcc --version
python -c "import torch; print(torch.version.cuda)"

✅ 建议：

• 使用官方 wheel：pip install torch --index-url https://download.pytorch.org/whl/cu118
• 不要混用 conda 和 pip 的 CUDA

2️⃣ 显存不足（OOM）

表现

• 程序突然被杀
• Killed（Linux OOM Killer）
• 无报错直接退出

排查

dmesg | grep -i killed

✅ 解决：

• 减小 batch size
• 使用 torch.cuda.empty_cache()
• 使用 mixed precision (torch.amp)

3️⃣ 多线程 / OpenMP 问题

表现

• 一启动就崩
• CPU 占用暴涨
• pthread 相关错误

常见原因

• OMP_NUM_THREADS 设置不合理
• 多进程 DataLoader 冲突

解决

export OMP_NUM_THREADS=4
export MKL_NUM_THREADS=4

4️⃣ 依赖库冲突

常见冲突

• numpy 版本不兼容
• 多版本 torch 共存
• conda + pip 混用

检查

pip list | grep torch
pip list | grep numpy

✅ 建议：

• 使用干净的虚拟环境

python -m venv venv
source venv/bin/activate

5️⃣ C++ / 自定义算子崩溃

如果你用了：

• torch.compile
• 自定义 CUDA 算子
• C++ extension

表现

• Segmentation fault
• 只在特定输入下崩

✅ 建议：

• 先关 torch.compile
• 用最小复现代码测试

6️⃣ Linux 系统限制

可能原因

• 文件描述符不足
• ulimit 限制
• 共享内存不足（/dev/shm）

解决

df -h /dev/shm

Docker 用户常见：

--shm-size=16g

7️⃣ 快速自排查清单 ✅

你可以先回答这几个问题，我可以直接定位：

1. 报错信息原文（最重要）
2. 是否有 GPU？CUDA 还是 CPU？
3. 单机还是多机？
4. 崩溃在：启动 / 训练 / 推理 / 随机位置？
5. 是否使用 Docker / conda？

如果你愿意，把 崩溃日志或报错堆栈 贴出来，我可以直接帮你判断是哪一类问题。