Checkpoint检查点如何备份

“Checkpoint（检查点）”在不同技术领域含义不同，下面分别说明常见场景下的检查点备份方法，你可以对照自己的使用场景：

一、深度学习 / 机器学习（如 PyTorch、TensorFlow）

检查点通常指模型权重、优化器状态等。

1. PyTorch 备份

# 保存
torch.save({
    'epoch': epoch,
    'model_state_dict': model.state_dict(),
    'optimizer_state_dict': optimizer.state_dict(),
    'loss': loss,
}, 'checkpoint.pth')

# 恢复
checkpoint = torch.load('checkpoint.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])

备份建议

• 定期保存（如每 epoch）
• 保留多个版本（best / latest）
• 同步到对象存储（OSS / S3 / NAS）

2. TensorFlow / Keras

model.save_weights('ckpt.weights.h5')
model.load_weights('ckpt.weights.h5')

或使用 tf.train.Checkpoint + CheckpointManager

二、数据库（如 PostgreSQL、MySQL）

检查点是恢复点，用于崩溃恢复。

PostgreSQL

• 自动检查点由 checkpoint_timeout 控制
• 手动触发：

CHECKPOINT;

备份方式

• 物理备份：PG_BASEBACKUP
• 逻辑备份：pg_dump
• 配合 WAL 归档实现时间点恢复（PITR）

三、流式计算 / 分布式系统（Flink、Spark）

检查点用于故障恢复。

Flink

state.checkpoints.dir: hdfs:///checkpoints/

• 启用 Checkpoint
• 存到 HDFS / S3
• 使用 Savepoint 做手动备份：

flink savepoint <jobId> hdfs:///savepoints/

四、通用备份原则（适用于所有场景）

1. 异地存储（本地 + 云）
2. 版本管理（时间戳 / 编号）
3. 定期校验（能否成功恢复）
4. 自动化脚本
5. 加密与权限控制

如果你能说明是哪种系统或框架（如 PyTorch / Flink / 数据库），我可以给你更具体的备份方案。