Ubuntu HDFS数据如何备份与恢复

Ubuntu 环境下 HDFS 的备份与恢复实践

一 备份策略总览

• HDFS 快照 Snapshot：对目录做时间点只读副本，开销小，适合频繁的小规模快速回滚。
• 回收站 Trash：误删后短期保留在用户目录的 .Trash/Current，可直接 mv 回原路径。
• DistCp 跨集群/跨机房备份：适合定期全量或增量同步，支持带宽/并发控制，便于异地容灾。
• NameNode 元数据备份：定期保存 fsimage 与 edits，在 NameNode 故障或误操作后用于恢复命名空间。
• HDFS 冗余与纠删码：通过 dfs.replication 或 Erasure Coding 提升数据耐久度，属于“在线容错”而非备份，应与上面手段配合。
• 第三方与平台工具：如 Ambari Backup、Cloudera Manager Backup 等，可统一编排备份与恢复流程。

二 常用备份方法步骤

• 快照 Snapshot（目录级时间点备份）

  1. 允许快照：sudo -u hdfs hdfs dfsadmin -allowSnapshot /path/to/dir
  2. 创建快照：sudo -u hdfs hdfs dfs -createSnapshot /path/to/dir snap_20251123
  3. 查看快照：sudo -u hdfs hdfs dfs -ls /path/to/dir/.snapshot
     说明：快照为只读副本，适合对关键目录做滚动保留（如保留近 7 天）。

• 回收站 Trash（误删快速回滚）

  1. 启用回收站（core-site.xml）：
     fs.trash.interval1440
     fs.trash.checkpoint.interval120
  2. 恢复文件：sudo -u hdfs hdfs dfs -mv /user/用户名/.Trash/Current/误删文件 /原/路径
     说明：值为 0 表示关闭回收站；保留时间到期后将被真正删除。

• DistCp 跨集群/异地备份（全量/增量）

  1. 全量备份：hadoop distcp hdfs://src:8020/数据 hdfs://backup:8020/备份/数据_20251123
  2. 增量/同步：hadoop distcp -update -delete hdfs://src:8020/数据 hdfs://backup:8020/备份/数据
  3. 带宽/并发控制：可结合 -bandwidth、mapper 数量等参数，按业务窗口执行。
     说明：适合定期把生产集群数据同步到备份集群或云端 HDFS。

• NameNode 元数据备份（命名空间保护）

  1. 进入安全模式：sudo -u hdfs hdfs dfsadmin -safemode enter
  2. 保存命名空间：sudo -u hdfs hdfs dfsadmin -saveNamespace
  3. 备份目录拷贝：sudo -u hdfs cp -r ${dfs.namenode.name.dir} /backup/nn_$(date +%F)
  4. 退出安全模式：sudo -u hdfs hdfs dfsadmin -safemode leave
     说明：元数据恢复时，用备份的 fsimage 与 edits 还原到新/原 NameNode 数据目录后启动。

三 常见恢复场景与命令

• 回收站恢复：sudo -u hdfs hdfs dfs -mv /user/用户名/.Trash/Current/误删文件 /原/路径
• 快照恢复：sudo -u hdfs hdfs dfs -cp /path/.snapshot/snap_20251123/文件或目录 /path/恢复目标
• 跨集群回滚（用备份数据覆盖生产）：hadoop distcp -overwrite hdfs://backup:8020/备份/数据_20251123 hdfs://src:8020/数据
• NameNode 元数据恢复：停 NN → 用备份替换 current/ 内容 → 启动 NN → 必要时从最近 fsimage 加载并回放 edits（高风险，务必在演练环境验证）。

四 策略与运维建议

• 组合方案：关键目录开启 快照；日常用 DistCp 做定期全量/增量并保留多份；重要表/库建议跨机房备份；NameNode 元数据每日备份并异地留存。
• 定期演练：按月/季度做恢复演练与校验（如抽样对比行数/校验和），验证备份可用性与恢复时间目标（RTO/RPO）。
• 参数与容量：合理设置 dfs.replication（如 3）或启用 Erasure Coding；回收站 fs.trash.interval 建议 ≥1440 分钟；DistCp 任务避开业务高峰并限速。
• 监控与日志：对 DistCp/快照/NameNode 备份任务做日志归档与告警，保留至少 30 天 以便审计与问题追溯。