如何训练自己的stable diffusion模型

训练 Stable Diffusion 的可行路径与实操指南

一、训练路线与适用场景

• LoRA 微调（推荐入门）：冻结基础模型，仅训练少量低秩矩阵，显存需求低（12–16GB 可跑，24GB+ 更稳），适合学习特定风格、角色或概念。训练快、易迭代，产出为 .safetensors 权重，推理时与基础模型叠加使用。
• 全参数微调（DreamBooth 等）：对 UNet/文本编码器等进行全量或较大范围微调，能显著改变模型行为，但需要更强算力（多卡更佳）与更严格的正则化，适合深度定制与再现特定主体。
• 从零训练（研究/工程化）：自行训练 VAE + UNet + 文本编码器，数据量与算力需求极大，通常仅在有大规模数据与工程需求时考虑。

二、环境与硬件准备

• 硬件建议：至少 NVIDIA GPU；LoRA 训练建议 12–16GB VRAM（如 RTX 3060/3080），更推荐 24GB+（如 A100/3090/4090）。内存 16GB+，磁盘预留充足空间（基础模型约 2–7GB，LoRA 通常 <200MB）。
• 软件与依赖：建议使用 Python 3.8+，安装 PyTorch + CUDA、diffusers、transformers、accelerate、bitsandbytes、safetensors 等；Windows 用户可用 Kohya_ss GUI 降低上手难度。

三、数据准备与标注规范

• 图像规范：统一分辨率（SD 1.5 常用 512×512 或 768×768；避免拉伸，使用中心裁剪/智能填充），统一格式（如 .png/.jpg），去除模糊、过曝/过暗、带水印/无关文字、低分辨率（<256×256）与重复图片（可用感知哈希去重）。
• 文本标注：每张图提供 1–3 条准确、细致的描述（主体、细节、场景、风格、质量词），可用 BLIP-2/LLaVA 辅助生成初稿后人工校对。学习新概念时加入独特“触发词”（如 sks_dog），推理时需携带该词激活概念。
• 标签与元数据：可用 WD14 Tagger 生成标签，配合清洗工具去重与优化；为提高训练效率，支持预计算并缓存图像的潜在表示（latent cache）。

四、训练流程与关键参数

• 方案选择：新手优先用 Kohya_ss GUI 或 Diffusers + PEFT（LoRA）；熟悉后可尝试全参数微调或脚本化流程（如 sd-scripts）。
• 核心超参（LoRA 常用起点，按显存与数据量微调）：
  • 分辨率：SD 1.5 用 512/768；更大分辨率更吃显存。
  • Network Dim（秩）：建议 32/64 起步；容量越大越易过拟合。
  • Network Alpha：常设为 Dim 的一半（如 32/16）。
  • 学习率：常用 1e-4 ~ 5e-4；不稳定时降至 1e-5。
  • 批量与累积：Batch Size 视 VRAM 调整（如 1–4），配合梯度累积（如 4 步）模拟大批次。
  • 优化器：AdamW 8bit 或 Lion。
  • 正则化：Caption Dropout 0.05–0.1、Tag Dropout、Tag Shuffle，提升泛化。
  • EMA：开启 EMA 有助于稳定与泛化。
  • 训练步数：小样本（如 ~200 张）通常 几千–一两万步即可见效，按验证集与主观质量早停。
• 示例命令（基于 Diffusers 的 LoRA 微调思路，实际以所选脚本/工具为准）：
  • pip 安装：pip install diffusers transformers accelerate bitsandbytes safetensors
  • 训练要点：加载 SD 1.5 基础模型，冻结 VAE/文本编码器，仅训练 UNet 上的 LoRA；设置分辨率 512、Batch 1、累积 4、LR 1e-4、EMA、Caption Dropout 0.1，训练 ~15000 步并定期保存检查点。

五、评估、推理与常见问题

• 模型选择与验证：训练会得到多个检查点，使用基础模型 + LoRA 在 WebUI/ComfyUI 中测试；用训练集相似 Prompt 与包含触发词的 Prompt 检查风格/主体还原度与泛化能力，避免仅能复刻训练集的过拟合。
• 推理部署：将 .safetensors 放入 Stable Diffusion WebUI 或 ComfyUI 的 LoRA 目录，按训练时的触发词与风格词生成；必要时降低步数/CFG 以平衡质量与速度。
• 常见问题与对策：
  • 显存不足：降低分辨率、Batch 改为 1、开启梯度累积与 xformers，或使用 8bit 优化。
  • 过拟合（只像训练图）：增加数据多样性、提高 Caption/Tag Dropout、减小 Network Dim、早停。
  • 标签噪声：清洗标签、减少低频/无关标签，必要时重新标注关键样本。
  • 训练不稳（loss 剧震）：降低学习率、减小 Dim、检查数据质量与标注一致性。