如何调试Checkpoint检查点

“调试 Checkpoint（检查点）”在不同场景下含义差别很大，下面按最常见场景给你一套通用调试思路，你可以对照自己的情况用。

一、深度学习 / 训练框架（PyTorch / TensorFlow）

1. 确认 Checkpoint 是否真的保存成功

常见坑：

• 路径不存在或被覆盖
• 只保存了 model.state_dict() 没保存 optimizer
• 多卡训练时只保存了 module. 前缀

调试方法

import os
print(os.listdir("checkpoints/"))

加载测试：

ckpt = torch.load("ckpt.pth")
print(ckpt.keys())

2. 加载时报错（key mismatch）

典型错误：

Missing key(s) in state_dict
Unexpected key(s)

调试

model.load_state_dict(ckpt, strict=False)

再打印缺失 / 多余 key：

missing, unexpected = model.load_state_dict(ckpt, strict=False)
print(missing)
print(unexpected)

如果是 DataParallel 导致：

from collections import OrderedDict
new_ckpt = OrderedDict()
for k, v in ckpt.items():
    new_ckpt[k.replace("module.", "")] = v

3. 验证 Checkpoint 是否有效（不训练直接验证）

model.eval()
with torch.no_grad():
    for x, y in val_loader:
        out = model(x)

如果验证指标异常 → checkpoint 可能：

• 保存了错误阶段（如未 eval）
• 学习率/优化器状态不对

4. 建议的健壮保存方式

torch.save({
    "epoch": epoch,
    "model": model.state_dict(),
    "optimizer": optimizer.state_dict(),
    "loss": loss,
}, "ckpt.pth")

二、数据库 / 分布式系统（Checkpoint 恢复）

常见问题：

• Checkpoint 不完整
• WAL / 日志未 flush
• 版本不兼容

调试步骤

1. 查看日志中 checkpoint 开始/结束标记
2. 校验 checksum / hash
3. 使用 --force-recovery 或 debug 模式启动
4. 对比 checkpoint 时间戳与最后写入时间

三、系统 / 程序崩溃恢复（如 Spark / Flink）

调试重点：

• Barrier / 对齐是否成功
• 哪个 task 没完成 checkpoint
• 超时设置是否过短

Flink 示例

# Web UI → Job → Checkpoints

看：

• ACK 是否全
• Duration 是否异常
• Failed Checkpoint 原因

四、通用调试 Checklist ✅

• [ ] 路径正确且可写
• [ ] 保存和加载代码一致
• [ ] 不依赖全局变量
• [ ] 能从头加载并复现结果
• [ ] 有版本 / epoch / step 信息

如果你能告诉我：

• 用的是 什么框架 / 系统
• 报错信息或现象

我可以直接给你针对性的调试命令和代码。