centos pytorch怎么调优

在 CentOS 上调优 PyTorch 性能，可以从 系统、CPU、GPU、PyTorch 自身、数据加载、分布式 几个层面来做。下面按优先级和实际可操作性给你一份“实战清单”。

一、系统 & 驱动层（基础必做）

1. 使用合适的 CentOS 版本

• 推荐：CentOS 7.9 / Rocky Linux 8
• 内核尽量新（≥ 3.10，推荐 4.x+）

2. 显卡驱动 & CUDA

nvidia-smi

• 驱动版本要和 CUDA 匹配
• 推荐：
  • CUDA 11.8 + PyTorch 2.x
  • CUDA 12.x（新卡 A100/H100）

3. 禁用 Nouveau

echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf

二、CPU & 内存调优（常被忽略）

1. 开启高性能模式

cpupower frequency-set -g performance

2. 限制 CPU 线程（非常重要）

PyTorch 默认会用很多线程，反而更慢：

import torch
torch.set_num_threads(8)  # 视 CPU 核心数

3. 关闭 CPU 节能

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

三、PyTorch 自身调优（最核心）

1. 使用 GPU（确认在用）

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

2. 开启 cuDNN 自动调优

torch.backends.cudnn.benchmark = True
torch.backends.cudnn.enabled = True

3. 使用 AMP（混合精度）

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()
with autocast():
    output = model(input)
    loss = criterion(output, target)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

4. 使用 torch.compile（PyTorch 2.x）

model = torch.compile(model)

四、DataLoader 调优（训练瓶颈常在这）

DataLoader(
    dataset,
    batch_size=64,
    num_workers=8,
    pin_memory=True,
    prefetch_factor=4,
    persistent_workers=True
)

⚠ 注意：

• num_workers ≈ CPU 核心数 / GPU 数
• 避免在 __getitem__ 里做重 IO

五、GPU 显存 & 计算优化

1. 使用 torch.cuda.amp

（见上）

2. 梯度累积（小显存）

loss = loss / accum_steps
loss.backward()
if step % accum_steps == 0:
    optimizer.step()
    optimizer.zero_grad()

3. 清理缓存（谨慎）

torch.cuda.empty_cache()

六、分布式训练（多卡）

1. DDP（推荐）

torchrun --nproc_per_node=4 train.py

model = torch.nn.parallel.DistributedDataParallel(
    model,
    device_ids=[local_rank]
)

2. 设置 NCCL

export NCCL_DEBUG=INFO
export NCCL_P2P_DISABLE=0

七、监控 & 定位瓶颈

GPU

nvidia-smi dmon
watch -n 1 nvidia-smi

CPU / IO

htop
iostat -x 1

八、常见坑（CentOS 特有问题）

❌ 默认 openblas 太慢
✅ 安装 mkl 或 oneDNN

❌ Python 版本太老
✅ 用 conda 或 pyenv 装 Python 3.9+

九、推荐组合（实战稳定）

如果你愿意，可以告诉我：

• ✅ 服务器配置（CPU / GPU / 内存）
• ✅ 训练任务（CV / NLP / 大模型）
• ✅ 当前瓶颈（慢 / 爆显存 / GPU 利用率低）

我可以直接给你 针对性调优方案。