温馨提示×

centos pytorch如何监控

小樊
65
2026-09-21 16:13:58
栏目: 智能运维

在 CentOS 上监控 PyTorch 训练/推理任务,通常从“系统资源”“GPU 资源”“PyTorch 内部状态”三个层面来做。下面按实用程度给你一套常见方案。


一、系统层面监控(CPU / 内存 / 进程)

1. 基础命令

top
htop        # 推荐,需安装:yum install htop -y
free -h

查看某个 Python / PyTorch 进程:

ps -ef | grep python

二、GPU 监控(最关键)

1. NVIDIA GPU(最常见)

nvidia-smi

实时监控(每 1 秒刷新):

watch -n 1 nvidia-smi

查看更详细 GPU 使用率:

nvidia-smi dmon

关注指标:

  • GPU-Util:是否真的在用
  • Memory-Usage:显存是否爆了
  • Temp:温度是否过高

2. 多卡训练监控

nvidia-smi -L

确认 PyTorch 是否真的用到多张卡:

import torch
print(torch.cuda.device_count())

三、PyTorch 内部监控

1. 显存使用(代码中)

import torch

print(torch.cuda.memory_allocated() / 1024**2, "MB")
print(torch.cuda.memory_reserved() / 1024**2, "MB")

清空缓存:

torch.cuda.empty_cache()

2. 监控训练指标(loss / acc)

最常见方式:

  • print
  • TensorBoard
  • wandb

TensorBoard(推荐)

pip install tensorboard
tensorboard --logdir=logs --host=0.0.0.0 --port=6006

在 PyTorch 中:

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter("logs")

writer.add_scalar("loss", loss.item(), step)

四、后台任务监控(训练长时间跑)

1. 使用 nohup / screen / tmux

nohup python train.py > train.log 2>&1 &

或:

screen -S pytorch
python train.py
# Ctrl+A D 退出

查看日志:

tail -f train.log

五、进阶监控方案(服务器级)

1. Prometheus + Grafana(企业级)

  • node_exporter:CPU / 内存
  • dcgm-exporter:NVIDIA GPU
  • Grafana 看板

适合:

  • 多用户
  • 多机
  • 长时间训练

2. 简单网页监控(轻量)

  • nvtop(GPU 版 htop)
yum install nvtop -y

六、常见问题排查

GPU 利用率为 0?

  • 数据加载瓶颈(DataLoader num_workers)
  • 模型在 CPU 上
  • loss.backward() 没调用

显存爆了?

  • batch_size 太大
  • 没用 with torch.no_grad()
  • 没释放中间变量

七、一句话总结

CentOS 上监控 PyTorch = nvidia-smi + htop + TensorBoard + 日志

如果你愿意,可以告诉我:

  • 用的是 CPU 还是 GPU
  • 单机还是多机
  • 训练还是推理
  • CentOS 版本

我可以直接给你一套可复制的监控脚本。

0 踩