Ubuntu Hadoop数据如何备份

Ubuntu Hadoop 数据备份与恢复实用指南

一 备份策略总览

• 在 HDFS 层面优先利用多副本（如 dfs.replication=3）保障数据耐久性，但这并非真正的“异地/跨机房”备份，需在此基础上叠加快照、跨集群复制与配置/元数据备份等措施。
• 建议组合方案：
  • 本地快速回滚：启用 HDFS 快照 对关键目录做时间点保护。
  • 集群间备份/容灾：用 DistCp 将关键目录/整库定期同步到备份集群或对象存储（如 S3/MinIO）。
  • 误删防护：开启 HDFS 回收站 作为第一道防线。
  • 元数据与配置：定期备份 NameNode 元数据（fsimage、edits） 与 /etc/hadoop/conf 配置目录。
  • 关键目录落地：对 NameNode 本地目录 做离线/近线拷贝（停机窗口或只读挂载）。

二 常用备份方法速览

三 关键操作示例

• 启用回收站（core-site.xml）

  • 配置回收站保留 120 分钟：

    <property>
      <name>fs.trash.interval</name>
      <value>120</value>
    </property>
    <property>
      <name>fs.trash.checkpoint.interval</name>
      <value>120</value>
    </property>
    

  • 误删后从回收站恢复：hdfs dfs -mv /user/hadoop/.Trash/Current/file /user/hadoop/file。

• 目录快照与回滚

  • 开启快照：hdfs dfs -allowSnapshot /data/warehouse
  • 创建快照：hdfs dfs -createSnapshot /data/warehouse snap_20251201
  • 从快照恢复：hdfs dfs -cp /data/warehouse/.snapshot/snap_20251201 /data/warehouse/restored。

• 跨集群/云备份（DistCp）

  • 备份到备份集群：

    hadoop distcp \
      -m 50 \
      -update \
      -diff previous_snapshot current_snapshot \
      hdfs://nn1:8020/data/warehouse \
      hdfs://backup-nn:8020/backup/warehouse/2025-12-01
    

  • 备份到对象存储（S3/MinIO，示例 s3a）：

    hadoop distcp \
      -m 50 \
      hdfs://nn1:8020/data/warehouse \
      s3a://my-hadoop-backup/warehouse/2025-12-01
    

  • 建议配合定时任务与保留策略（定期删除过期备份目录）。

• 元数据与配置备份

  • NameNode 进入安全模式并保存命名空间：

    hdfs dfsadmin -safemode enter
    hdfs dfsadmin -saveNamespace
    

  • 备份 fsimage/edits 与配置目录（示例）：

    tar czf /backup/hdfs/fsimage_$(date +%F).tgz $HADOOP_HOME/data/dfs/name
    tar czf /backup/hadoop-conf_$(date +%F).tgz /etc/hadoop/conf
    

  • 恢复时先停集群，恢复 fsimage/edits 与配置后再启动。

四 恢复流程与注意事项

• 回收站恢复：直接 mv 回收站中文件到原路径（或对应时间点目录）。
• 快照恢复：优先使用 hdfs dfs -cp 从 .snapshot 拷贝回原目录；避免直接覆盖生产目录。
• 跨集群/云恢复：用 DistCp 反向复制（backup → prod），大数据量可分批次/分目录执行。
• 元数据恢复：在 安全模式 下恢复 fsimage/edits，校验一致性后再退出安全模式对外服务。
• 一致性建议：备份窗口内尽量避免对关键目录写入；重要目录先快照再备份；定期做恢复演练与校验（如抽样对比、校验和）。