如何优化stable diffusion的性能

Stable Diffusion 性能优化实用指南

一 硬件与环境优化

• 优先使用支持 CUDA 的 NVIDIA GPU，显存越大越能兼顾分辨率与批量；在显存紧张时，优先选择 FP16/混合精度 与高效注意力实现。
• 安装高效注意力库 xFormers，通常可带来约 40%–60% 的速度提升；在部分环境（如 PyTorch 2.x + cu118）下，也可尝试 FlashAttention-2 作为替代。
• 使用最新稳定版 PyTorch、Transformers、Diffusers、Accelerate，并开启 MIG/多进程数据加载以隐藏 IO 等待。
• 纯 CPU 场景建议：启用 Intel Extension for PyTorch（IPEX） 与 bfloat16，并使用 OpenVINO 或 ONNX Runtime 推理管线以获得实用级速度。

二 关键参数与采样器调优

• 采样步数：多数任务在 20–30 步 即可达到可用质量；追求极致细节可用 40–50 步。从 50 步降到 20 步，常见场景速度可提升约 60%，而质量下降通常小于 5%。
• 采样器选择：在速度与质量平衡上，DPM 系列通常更优；需要快速预览可用 DDIM/PLMS。
• CFG Scale：常用 7.5 作为起点，过高会显著增加步数与耗时且收益递减。
• 分辨率与批量：分辨率对显存最敏感；建议先锁定目标分辨率，再调节批量与步数。
• 快速参考表：

  参数	推荐设置	说明
  采样步数	20–30（高质量 40–50）	步数<10 细节明显下降
  采样器	DPM 系列	速度/质量综合最佳
  CFG Scale	7.5	过高会拖慢且增益有限
  分辨率起步	512×512	再按显存与需求上调
  批量/并行	视显存调小批量；多 GPU 用数据并行	批量过大易触发 OOM
  注：步数与采样器的具体收益会随模型与提示词变化，建议用固定种子做 A/B 对比。

三 显存与吞吐优化

• 混合精度与张量并行：使用 FP16/bfloat16 与 torch.compile（PyTorch 2.x）可显著提速并降低显存。
• 注意力与内存优化：启用 xFormers 或 FlashAttention-2；必要时开启 梯度检查点（如 --enable-ckpt）以在显存受限时换取更大分辨率/批量。
• 批量与数据管道：合理设置 batch size 与 num_workers，避免 IO 成为瓶颈；多 GPU 采用 DataParallel 或分布式数据并行。
• 模型压缩与轻量化：在不明显牺牲质量的前提下，优先采用 FP16 与 INT8 量化；使用 LoRA/蒸馏 替代全量权重切换，减少加载与切换开销。
• 吞吐优先策略：固定种子与提示词，减少重复初始化与调度开销；尽量复用已编译/已加载的管线。

四 CPU 与边缘场景优化

• 指令集与内存格式：启用 AVX-512、channels_last，并使用 bfloat16 与 IPEX 加速。
• 线程与 NUMA：设置 OMP_NUM_THREADS 与 numactl 绑定，提升多核利用率与内存局部性。
• 推理后端：优先 OpenVINO 或 ONNX Runtime；在 PyTorch CPU 推理时，结合 MKL/OpenBLAS 与合理的线程数。
• 量化部署：对 UNet/Text Encoder/VAE 采用分组件的 INT8 量化 与 权重量化，在 4–16GB 内存设备上也能获得可用速度。

五 快速上手命令示例

• GPU 快速高质量（示例）
  • 安装 xFormers 后直接启用；使用 DPM 与 20–30 步 作为默认起点。
  • 示例命令：
    • python scripts/txt2img.py --prompt “a cat on a skateboard” --H 768 --W 768 --dpm --steps 25
• CPU 加速（示例）
  • Intel 平台启用 IPEX + bfloat16：
    • python scripts/txt2img.py --prompt “a cat on a skateboard” --device cpu --ipex --bfloat16
• 批量与吞吐（示例）
  • 适度减小单张显存占用，提高批量与并行度：
    • python scripts/txt2img.py --prompt “product photo” --n_samples 4 --n_iter 100 --ddim_steps 30 --precision autocast
• 说明：不同仓库/脚本的参数名可能略有差异（如 --steps/–ddim_steps、–n_samples/–batch_size），请以所用环境帮助文档为准。