Ubuntu Hadoop 数据如何恢复

Ubuntu Hadoop 数据恢复指南

恢复路径总览

优先检查 HDFS 回收站（Trash）：若已启用，删除的文件会先进入用户目录下的 .Trash/Current，在规定保留时间（由 fs.trash.interval 控制）内可直接从回收站 mv 回原路径。
若目录已开启 快照（Snapshot）：从 .snapshot 目录拷贝所需文件/目录即可精准回滚到快照时刻。
若回收站与快照均未配置或已过期：使用 NameNode 元数据（fsimage + edits）回滚 或基于 审计日志定位时间点 的离线恢复；此路径风险高，需谨慎操作。
底层 DataNode 磁盘/文件系统损坏：在停止写入后，使用 extundelete、TestDisk、PhotoRec 等工具尝试文件级恢复。
具备外部备份：通过 DistCp 或对象存储（如 MinIO）将备份数据恢复到 HDFS。

HDFS 层面恢复步骤

回收站恢复（最快）
- 查看回收站：hdfs dfs -ls /user/<用户名>/.Trash/Current
- 恢复到原路径：hdfs dfs -mv /user/<用户名>/.Trash/Current/<原路径> /<原路径>
- 前提：已配置并生效 fs.trash.interval（单位：分钟，0 为关闭；若服务端启用，以服务端为准）。
快照恢复（最可靠）
- 查看快照：hdfs dfs -ls /path/.snapshot
- 单文件/目录回滚：hdfs dfs -cp /path/.snapshot/<快照名>/<目标> /path/
- 整目录回滚：hdfs dfs -cp -r /path/.snapshot/<快照名> /path/
- 前提：对该目录提前执行过 hdfs dfsadmin -allowSnapshot /path 并创建过快照。
元数据回滚（无回收站/快照时）
- 立即停止集群写入（尤其是 NameNode 与 DataNode），避免新写入覆盖旧块。
- 从备份中选取删除时间点之前的 fsimage（及对应 edits），在新环境或本机临时加载以导出所需数据；或基于 审计日志 精确确定时间点后选择镜像版本。
- 恢复完成后按序回放 edits，校验一致性后再对外提供服务。
副本缺失/块损坏
- 定位损坏块：hdfs fsck /path -files -blocks -locations
- 尝试恢复租约/副本：hdfs debug recoverLease -path <文件> -retries <次数>
- 若副本数配置为 1 且全部丢失，需评估业务影响后谨慎清理损坏块再重建。

操作系统或磁盘层面的恢复

立即停止对受影响磁盘的写入，优先在只读或离线环境操作。
分区/文件系统损坏：使用 fsck 检查并修复分区（如：sudo fsck /dev/sdXY）。
误删文件（本地 ext 系列文件系统）：使用 extundelete 按文件路径恢复（如：sudo extundelete /dev/sdXY --restore-file <路径>）。
分区丢失或文件不可按名恢复：使用 TestDisk 恢复分区结构，或用 PhotoRec 按文件签名恢复文件。
恢复出的数据先放到其他磁盘，确认完整后再拷回 HDFS。

备份与预防建议

启用并合理设置 HDFS 回收站：例如将 fs.trash.interval 设为 1440（保留 1 天），并配置 fs.trash.checkpoint.interval（应 ≤ 保留时间）。
对关键目录启用 快照策略：定期（如每日/每周）创建滚动快照，保留多个历史版本以便快速回滚。
定期做 跨集群/跨地域备份：使用 DistCp 将重要目录备份到独立集群或对象存储（如 MinIO），并校验一致性。
做好 NameNode 元数据与配置 的备份：定期归档 fsimage、edits 与 /etc/hadoop/conf，以便灾难恢复。
加强 权限与审计：限制删除权限，开启审计日志，便于事后追溯与时间点定位。

风险提示

最新问答