怎样调试pytorch代码

调试 PyTorch 代码和调试普通 Python 代码类似，但还需要注意张量计算、GPU、梯度、维度等深度学习特有问题的排查。下面从基础 → 进阶 → 常见坑系统讲一下。

一、基础调试方法（Python 通用）

1. 使用 print（最常用）

print(x.shape, x.dtype)
print(loss.item())

✅ 重点打印：

• tensor 的 .shape
• .dtype
• .device
• loss.item()（不要直接 print(loss)）

2. Python 调试器 pdb

import pdb
pdb.set_trace()

或：

python -m pdb train.py

常用命令：

• n：下一步
• s：进入函数
• c：继续
• p x：打印变量

3. IDE 调试（推荐）

• PyCharm：直接打断点
• VS Code：
  • 安装 Python 插件
  • F5 启动调试

✅ 最推荐方式（效率高）

二、PyTorch 专属调试技巧

1. 检查张量基本信息

x = model(input)
print(x.shape, x.device, x.dtype)

常见错误：

• shape 不匹配
• 在 CPU 上算但在 GPU 上模型
• float32 / float64 混用

2. 确保 device 一致

device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
x = x.to(device)

✅ 错误示例：

model.cuda()
x = x.cpu()  # ❌

3. 检查梯度是否正常

for name, param in model.named_parameters():
    if param.grad is not None:
        print(name, param.grad.norm())

常见问题：

• grad = None（未参与计算图）
• 梯度为 0（死神经元 / 学习率太小）

4. 使用 torch.autograd.detect_anomaly

with torch.autograd.detect_anomaly():
    loss.backward()

能帮你定位：

• NaN
• 梯度爆炸
• inplace 操作错误

5. 关闭梯度加速调试

with torch.no_grad():
    y = model(x)

适合：

• 推理阶段
• 调试 forward

三、常见 PyTorch Bug 及调试思路

❌ 1. shape mismatch

RuntimeError: size mismatch

✅ 解决：

print(x.shape)
print(out.shape)

❌ 2. NaN / Inf

print(torch.isnan(x).any())

常见原因：

• 学习率太大
• log(0)
• 除以 0
• 初始化错误

❌ 3. inplace 操作错误

RuntimeError: a leaf Variable that requires grad is being used in an in-place operation

✅ 避免：

x = x + 1   # ✅
x += 1     # ❌（某些情况）

❌ 4. loss 不下降

检查：

• 数据是否正确
• label 是否正确
• 学习率
• optimizer.step() 是否调用
• loss.backward() 是否调用

四、训练循环标准调试模板

for x, y in dataloader:
    x, y = x.to(device), y.to(device)

    optimizer.zero_grad()
    out = model(x)
    loss = criterion(out, y)

    loss.backward()
    optimizer.step()

    print(loss.item())

五、推荐工具

• torchsummary
• tensorboard
• wandb
• torchinfo

如果你愿意，可以把具体报错信息或代码片段发给我，我可以直接帮你定位问题。