linux hadoop如何恢复数据

在 Linux 环境下使用 Hadoop（通常指 HDFS）进行数据恢复，需要根据数据丢失的原因和集群配置来选择不同方案。下面按常见场景系统说明。

一、先做这些检查（非常重要）

确认数据是否真的丢失
```
hdfs dfs -ls /path/to/file
```
确认 HDFS 是否开启回收站（Trash）
```
hdfs dfs -ls /user/root/.Trash
```
确认是否有快照（Snapshot）
```
hdfs dfs -ls /path/to/dir/.snapshot
```

二、通过 HDFS 回收站恢复（最常见）

1️⃣ HDFS 回收站机制

删除文件默认会进入：
```
/user/<username>/.Trash/Current/
```
默认保留时间：fs.trash.interval（如 1440 分钟 = 1 天）

2️⃣ 恢复方法

hdfs dfs -mv /user/root/.Trash/Current/path/to/file /target/path

✅ 适用于：

hdfs dfs -rm
hdfs dfs -rm -r

❌ 不适用于：

hdfs dfs -rm -skipTrash
超过回收站保留时间

三、通过 HDFS 快照恢复（推荐生产环境）

1️⃣ 检查是否启用快照

hdfs dfs -ls /path/.snapshot

2️⃣ 创建快照（提前）

hdfs dfsadmin -allowSnapshot /data
hdfs dfs -createSnapshot /data snap1

3️⃣ 从快照恢复

hdfs dfs -cp /data/.snapshot/snap1/lostfile /data/

✅ 优点：

秒级恢复
不影响线上数据

四、从 HDFS 副本机制恢复（误删块）

1️⃣ HDFS 自动恢复

HDFS 默认 3 副本
DataNode 宕机或磁盘损坏时：
- NameNode 会自动重新复制副本

查看副本状态：

hdfs fsck /path -files -blocks -locations

2️⃣ 手动触发复制

hdfs fsck /path -replicate

✅ 适用于：

节点故障
副本数不足

五、误删 NameNode 元数据（严重）

1️⃣ 如果有 Secondary NameNode / Standby NameNode

从备份恢复 fsimage + edits

# 停止 NameNode
# 拷贝 fsimage
cp /path/to/fsimage /dfs/nn/current/
# 启动 NameNode

2️⃣ 如果有定期备份

恢复：
- fsimage
- edits
- VERSION

⚠️ 无备份 = 几乎无法恢复

六、磁盘损坏 / DataNode 丢失

1️⃣ 更换磁盘

新磁盘格式化
启动 DataNode
HDFS 自动恢复副本

2️⃣ 查看丢失块

hdfs fsck / -list-corruptfiles

七、HBase / Hive 数据恢复（补充）

HBase

使用快照

list_snapshots
restore_snapshot 'snapshot_name'

Hive

恢复底层 HDFS 表目录
或重新导入数据

八、无法恢复的情况（重点）

❌ 以下情况基本无法恢复：

使用 -skipTrash 删除
回收站已过期
未启用快照
NameNode 元数据无备份
磁盘物理损坏且无副本

九、生产环境最佳实践（强烈建议）

✅ 开启回收站

<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
</property>

✅ 重要目录启用快照
✅ 定期备份 NameNode 元数据
✅ 副本数 ≥ 3
✅ 禁止 rm -rf 操作

十、如果你愿意，我可以帮你：

✅ 分析你具体的数据丢失场景
✅ 给出精确恢复命令
✅ 检查你当前 HDFS 配置是否安全

你可以直接告诉我：

是 HDFS 文件被删？NameNode 出问题？还是磁盘坏了？