Ubuntu上PyTorch的调试工具有哪些

Ubuntu上PyTorch调试工具全景

一 交互式与命令行调试

• pdb / ipdb：在代码中插入断点进行单步、打印变量与堆栈检查。示例：import pdb; pdb.set_trace() 或 import ipdb; ipdb.set_trace()；常用命令有 n（下一步）、c（继续）、q（退出）、p/pp（打印）。适合定位逻辑错误与张量形状/设备不匹配等问题。
• IDE 图形调试：PyCharm、VSCode 支持断点、变量/堆栈查看、条件断点与远程调试，适合复杂模型与数据流水线的可视化调试。
• Jupyter Notebook 调试：在单元格中使用 %debug 进入事后调试，便于结合实验性代码快速定位问题。

二 PyTorch专属与异常检测

• torch.autograd.set_detect_anomaly(True)：在反向传播中启用异常检测，能更精确定位导致 NaN/Inf 的算子或梯度问题。
• torchsnooper：函数级“自动打印”调试器，装饰器 @torchsnooper.snoop() 会在执行过程中自动输出每行的张量 shape、dtype、device、requires_grad 等关键信息，快速发现张量操作中的形状/设备/梯度误用。

三 性能与资源分析

• PyTorch Profiler：采集算子耗时、GPU 硬件级信息（如 CUDA kernel、内存拷贝），并支持导出到 TensorBoard 进行可视化分析。示例：使用 torch.profiler.profile 与 tensorboard_trace_handler 记录多步训练轨迹。
• cProfile / Python 内置分析：定位 Python 层调用瓶颈，辅助判断数据加载、预处理或训练循环中的性能短板。

四 可视化与结构检查

• TensorBoard：记录并可视化训练指标（如 loss/accuracy）、直方图、图结构等，便于对照训练过程与参数分布变化。
• Weights & Biases（W&B）：实验追踪与团队协作平台，支持超参数、指标、模型版本与产出管理。
• PyTorchviz / make_dot：将计算图结构化为图形，直观查看 前向/反向 的数据流与依赖关系。
• Netron：跨框架模型结构可视化工具，便于检查导出的 ONNX/TorchScript 模型拓扑与维度。

五 环境与GPU状态检查

• 虚拟环境管理：使用 conda/venv 隔离依赖，减少包冲突与版本不匹配导致的诡异问题。
• GPU/驱动检查：用 nvidia-smi 确认 CUDA/cuDNN 可用、驱动版本与显存占用；确保与已安装 PyTorch 的 CUDA 版本匹配。
• 日志与断言：结合 logging 输出关键变量与执行路径，使用 assert 快速捕获前置条件违背（如张量维度/范围）。