在 Debian 上进行 PyTorch 深度学习研究的实操指南
一 环境准备与 PyTorch 安装
- 更新系统并安装基础工具：sudo apt update && sudo apt install -y python3 python3-pip build-essential
- 建议创建隔离环境（任选其一）
- 使用 venv：python3 -m venv ~/pytorch_env && source ~/pytorch_env/bin/activate
- 使用 Miniconda：安装后 conda create -n pytorch python=3.10 -y && conda activate pytorch
- 安装 PyTorch（以官网命令为准，选择与 CUDA 版本匹配的 whl）
- CPU 示例：pip install torch torchvision torchaudio
- GPU 示例（CUDA 11.8）：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
- 验证安装：python - <<‘PY’
import torch
print(“PyTorch:”, torch.version, “CUDA available:”, torch.cuda.is_available())
PY
- 如需从源码构建（无 CUDA 的老环境示例）：sudo apt install -y git python3-dev && git clone --recursive https://github.com/pytorch/pytorch && cd pytorch && export NO_CUDA=1 USE_NUMPY=1 USE_FFMPEG=1 USE_OPENCV=1 USE_REDIS=1 && pip install -r requirements.txt && python setup.py install && pip install torchvision
二 GPU 驱动与容器化训练
- 本机 GPU 训练
- 安装 NVIDIA 驱动与工具链（Debian 官方 backports 或厂商驱动），确保 nvidia-smi 正常
- 安装与驱动匹配的 CUDA 运行时（或使用 PyTorch 官方带 CUDA 的预编译包，通常无需单独装完整 CUDA Toolkit）
- 运行验证：nvidia-smi；python -c “import torch; print(torch.cuda.is_available())”
- Docker 容器化（推荐用于可复现实验与环境隔离）
- 拉取官方镜像：docker pull pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel
- 运行示例（挂载代码与输出，按需调整资源）：docker run --gpus all -it --rm -v $PWD:/project -v /data:/data pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel bash
- 构建项目镜像示例 Dockerfile：
FROM pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel
WORKDIR /project
COPY . .
RUN pip install --no-cache-dir -r requirements.txt
CMD [“python”, “main.py”, “–config”, “./configs/xxx.yaml”]
- 说明：devel 镜像包含编译工具链，runtime 更轻量；选择与你 CUDA 版本匹配的镜像标签
三 工程化项目结构与数据管道
- 推荐结构
- project/
- data/、models/、datasets/、dataloader/、evaluate/、scripts/
- configs/、main.py、requirements.txt、.dockerignore、Dockerfile
- 数据管道要点
- 使用 torch.utils.data.Dataset 封装样本读取与预处理
- 使用 torch.utils.data.DataLoader 并行加载：batch_size、shuffle、num_workers
- 常见增强：transforms.Compose([…])；图像常用均值/方差归一化
- 训练循环骨架
- 模型继承 nn.Module；前向传播定义于 forward
- 损失函数与优化器：criterion = nn.CrossEntropyLoss(); optimizer = optim.Adam(model.parameters(), lr=1e-3)
- 训练：前向、loss、反向、优化；验证：model.eval() + torch.no_grad()
- 进阶：混合精度 AMP、梯度裁剪、学习率调度、多卡分布式（DistributedDataParallel）
四 实验管理与部署落地
- 实验跟踪与可视化
- 集成 Weights & Biases、MLflow 等记录指标、参数与模型版本
- 使用 TensorBoard 或第三方可视化工具对比实验
- 超参数优化
- 使用 Optuna 或 Ray Tune 进行贝叶斯优化与搜索
- 数据与模型版本管理
- 用 DVC 管理大体积数据与模型权重，便于复现与协作
- 模型导出与部署
- TorchScript：scripted = torch.jit.script(model); scripted.save(“deploy.pt”)
- ONNX：torch.onnx.export(model, dummy_input, “model.onnx”, input_names=[“input”], output_names=[“output”])
- 推理加速：使用 TensorRT 进行图优化与低延迟部署
五 常见问题与排错清单
- 版本不匹配
- 现象：CUDA 不可用或报错 cuDNN 不匹配
- 处理：确认 nvidia-smi 的 CUDA 版本 与 PyTorch 安装命令中的 CUDA 标签一致；必要时更换 PyTorch 的 whl 索引或升级驱动
- pip 安装慢或超时
- 处理：使用国内镜像源（如清华源）或 PyTorch 官方索引直链；必要时添加 --index-url 指定版本通道
- 容器无法访问 GPU
- 处理：确保宿主机安装 nvidia-container-toolkit 并重启 Docker；运行容器时添加 --gpus all
- 老系统/旧驱动兼容性
- 现象：编译或运行报错
- 处理：优先使用官方预编译包；若必须源码构建，设置环境变量（如 NO_CUDA=1）或选择 CPU 版本；必要时升级驱动与 CUDA 运行时
