ubuntu下hbase数据恢复

Ubuntu下HBase数据恢复实战指南

一、先判断故障类型与准备

• 明确场景：是误删表/误删数据、Region/表不一致、HMaster/RegionServer异常、还是HFile损坏/丢失。
• 立刻保护现场：对HDFS上的HBase根目录做一次拷贝备份，例如：hdfs dfs -cp -r /hbase /hbase_backup_$(date +%F_%T)；同时备份本地配置与日志。
• 检查依赖：确认Zookeeper运行正常（echo stat | nc zk1 2181），避免修复时元数据再次变更。
• 统一操作入口：优先使用HBase Shell与官方工具（如hbck、快照/导入导出），减少手工改动HDFS结构的风险。
• 小表验证：任何恢复方案先在测试环境/小表验证流程与数据一致性，再对生产执行。
  以上做法与排查顺序适用于Ubuntu与Linux通用环境，包含对故障类型的确认、备份现有数据、查看日志与利用hbck修复等步骤。

二、常用恢复路径与命令

• 快照恢复（最安全、优先方案）

  1. 列出快照：hbase shell> list_snapshots
  2. 若表结构仍在，先禁用：disable 'tbl'；若表已不存在，先按原结构建表：create 'tbl', {NAME => 'cf1'}, {NAME => 'cf2'}
  3. 从快照恢复：hbase shell> restore_snapshot 'snap_tbl'
  4. 校验：scan 'tbl', {LIMIT => 10}、count 'tbl'
     快照机制是HBase官方推荐的数据保护手段，适合误删表/回滚到某个时间点。

• ExportSnapshot 全量备份/迁移恢复（跨集群/跨环境）

  1. 备份：hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snap_tbl -copy-to hdfs://nn:8020/backup/snap_tbl
  2. 恢复：hbase org.apache.hadoop.hbase.snapshot.ImportSnapshot -snapshot snap_tbl -copy-from hdfs://nn:8020/backup/snap_tbl -target hbase
     适合灾备、迁移与离线归档恢复，不依赖源集群在线状态。

• 手工拷贝 HFile 到新表（HFile仍完整时）

  1. 在HBase Shell建空表（列族、压缩、TTL等需与原表一致）：create 'tbl_rec', {NAME => 'cf1', COMPRESSION => 'SNAPPY'}
  2. 禁用目标表：disable 'tbl_rec'
  3. 将HFile从旧表区域目录拷贝到新表对应列族目录（注意region目录层级与family名）：
     hdfs dfs -mv /hbase/data/default/tbl/region-xxxx/cf1/hfile-*/ /hbase/data/default/tbl_rec/region-xxxx/cf1/
  4. 重新上线：enable 'tbl_rec'；如HFile多且跨region，建议写脚本批量处理。
  5. 校验：count 'tbl_rec'、抽样scan。
     该方法直接利用底层HFile文件恢复，适用于HFile未被清理且结构可对齐的场景。

• 一致性修复与Region上线（hbck）

  1. 全面检查：hbase hbck
  2. 尝试自动修复：hbase hbck -repair（会尝试分配缺失region、修复引用与元数据）
  3. 若仍有不一致，结合日志定位region重叠/空洞，按提示手工处理后再修复。
     适用于Region未上线、元数据不一致、引用损坏等问题。

• 导入/导出 MR 作业（Export/Import，适合离线批量恢复）

  1. 导出：hbase org.apache.hadoop.hbase.mapreduce.Export tbl /backup/tbl_export
  2. 目标表准备：结构一致（列族一致）
  3. 导入：hbase org.apache.hadoop.hbase.mapreduce.Import tbl /backup/tbl_export
     适合跨版本迁移或大规模数据回灌，注意MapReduce资源与带宽配置。

三、场景化操作建议

• 误删表但快照存在：直接用restore_snapshot回滚，步骤最少、风险最低。
• 无快照但HFile仍在：按“手工拷贝HFile”流程恢复，先建空表、禁用、拷文件、再启用并校验。
• 仅表结构丢失但HFile在：重建同名同结构表（列族一致），按HFile恢复流程导入。
• Region/元数据异常：先hbck诊断，再-repair；必要时结合日志与HDFS目录手工扶正region。
• 跨集群/跨机房迁移：优先ExportSnapshot/ImportSnapshot，避免在线集群抖动。
• 大规模回灌或离线恢复：使用Export/Import MR作业，分批导入并监控任务与数据一致性。
  以上建议与流程要点对应快照、HFile手工恢复、hbck修复与MR导入导出等成熟做法。

四、验证与回滚

• 基本健康：hbase shell> status 'simple'；集群可用后再做业务侧校验。
• 数据量校验：count 'tbl'（大数据量表可用抽样或估算）；对比备份/快照时的基线。
• 抽样比对：scan 'tbl', {LIMIT => 100}、get 'tbl', 'rowkey1'，核对关键行/列。
• 监控与日志：观察/hbase/logs/下HMaster/RegionServer日志，确认无异常Compaction/Flush/Region分裂失败。
• 可回滚点：快照恢复前保留现场；HFile拷贝前确保目标表已禁用；任何步骤建议先在测试环境演练。
  这些验证与回滚策略有助于确认恢复成功并降低二次风险。

五、预防与最佳实践

• 启用HBase快照策略：周期性快照、保留多版本；关键变更前后手动快照。
• 定期ExportSnapshot到独立HDFS路径或异地存储，形成离线备份。
• 启用备份工具（若版本支持）进行全量/增量备份与快速回滚。
• 保障高可用：多HMaster、多RegionServer、Zookeeper集群健康。
• 规范变更：变更窗口、变更前后快照、变更后校验；保留应急脚本与操作手册。
  以上措施能显著降低数据丢失概率并提升恢复效率。