Debian上HBase的数据恢复方法是什么

Debian上HBase数据恢复方法

一 恢复前的关键判断

• 明确故障类型：是误删数据/表、Region/表不一致、节点宕机/数据文件损坏，还是配置错误导致不可用。
• 立刻保护现场：对当前HDFS 表目录与HBase 本地数据目录做一次完整拷贝备份；同时检查ZooKeeper是否健康、HMaster/RegionServer进程状态与HBase 日志（常见路径如：/hbase/logs/）。
• 评估可恢复窗口：若只是删除操作，尚未发生major compaction或已设置KEEP_DELETED_CELLS=TRUE，通常更容易找回；若已触发 major compaction 或设置了TTL过期，被删除数据可能已被物理清理。

二 常见恢复路径与步骤

• 误删数据但未物理清理（优先尝试）

  1. 在 HBase Shell 为涉及的列族开启保留已删除单元：
     alter ‘t’, { NAME => ‘f’, KEEP_DELETED_CELLS => TRUE }
  2. 使用 raw 扫描查看被删除但尚未清理的数据（可按时间范围限定）：
     scan ‘t’, { RAW => true, TIMERANGE => [0, 当前时间] }
  3. 将扫描结果导出为批量 Put（Export/Scan + 二次导入）以恢复到目标表。
     说明：HBase 删除仅写入删除标记，在 major compaction 时才会清理；KEEP_DELETED_CELLS 可阻止因合并而清理，但TTL到期仍会被清理。

• 使用快照恢复（需事先创建过快照）

  1. 列出快照：list_snapshots
  2. 若表被 drop，先按原结构重建表（列族、属性一致）
  3. 从快照恢复：restore_snapshot ‘snapshot_name’
  4. 校验数据一致性与行数。

• 使用备份恢复（全量/增量）

  1. 查看备份列表：hbase backup list
  2. 执行恢复（示例）：hbase backup restore -t your_table -b <backup_id> [-s <backup_root>]
  3. 校验恢复结果。

• 一致性修复与节点故障恢复

  1. 一致性检查与修复：/hbase/bin/hbck -repair（执行前建议先做元数据与目录备份）
  2. 若为HMaster/RegionServer宕机：确保ZooKeeper正常，重启相应进程并观察日志与 UI。

• 从 HFile 直接提取（极端场景）
  在数据文件仍保留在HDFS 数据目录的情况下，可尝试通过HFile 工具链将特定 HFile 导出后再导入目标表；适用于需要按文件粒度精确恢复的场景。

三 操作要点与注意事项

• 先做全量备份再执行修复/恢复操作，避免二次损坏。
• 恢复期间可能需禁用表或短暂影响业务，建议在低峰期进行。
• 确保备份与当前 HBase 版本兼容，避免恢复失败。
• 谨慎使用hbck -repair，生产环境建议先在测试环境验证；修复会重写元数据与 region 分配。
• 若启用了TTL，即使保留删除标记，到期数据仍会被清理，恢复窗口受限。

四 快速命令清单

• 保护现场：
  • 备份 HDFS 表目录：hdfs dfs -cp -r /hbase/data /hbase/data_backup_$(date +%F)
  • 备份本地目录与日志：cp -r /hbase /hbase_backup_$(date +%F)；tail -f /hbase/logs/hbase-*.log
• 误删数据找回：
  • alter ‘t’, { NAME => ‘f’, KEEP_DELETED_CELLS => TRUE }
  • scan ‘t’, { RAW => true, TIMERANGE => [0, 当前时间] }
• 快照恢复：
  • list_snapshots；create ‘t’, { NAME => ‘f’ }；restore_snapshot ‘snap1’
• 备份恢复：
  • hbase backup list；hbase backup restore -t t -b
• 一致性修复：
  • /hbase/bin/hbck -repair