CentOS HBase备份与恢复策略

一 策略总览与选型

• 在 CentOS 上，HBase 的备份与恢复应围绕业务 RPO/RTO 设计，结合表规模、变更频率与集群资源选择组合方案。
• 常用手段与适用场景如下：

• 建议组合：日常用 快照 快速回滚；周级用 DistCp 做整库备份；跨集群/跨环境用 Export/Import 或 Backup/Restore；关键表保留多个历史快照并按容量滚动清理。

二 备份策略与实施步骤

• 快照 Snapshot（表级、在线、快速）

  • 创建与回滚要点：
    • 创建：snapshot 'tableA', 'snap_20251227_0000'
    • 列出：list_snapshots
    • 克隆到新表：clone_snapshot 'snap_20251227_0000', 'tableA_bak'
    • 回滚原表：disable 'tableA' → restore_snapshot 'snap_20251227_0000' → enable 'tableA'
  • 建议对核心表设置定时快照与保留策略（如保留最近 7–10 个），便于快速回滚与克隆测试环境。

• Export/Import（跨集群迁移、离线归档）

  • 导出：hbase org.apache.hadoop.hbase.mapreduce.Export tableA /backup/export/tableA_20251227
  • 导入（目标集群）：hbase org.apache.hadoop.hbase.mapreduce.Import tableA /backup/export/tableA_20251227
  • 适用场景：跨版本/跨集群迁移、按时间导出归档；注意导出期间对集群资源的占用。

• DistCp 拷贝 HDFS 目录（整库/表空间级）

  • 备份：hadoop distcp hdfs:///hbase /backup/hbase_20251227
  • 恢复：hadoop distcp /backup/hbase_20251227 hdfs:///hbase
  • 建议：在业务低峰期执行，必要时对表执行 major compaction 降低 HFile 数量，缩短拷贝与恢复时间。

• Backup/Restore 工具（全量+增量、可编排）

  • 全量：hbase backup create 'bk_20251227_full', '/backup/hbase_bk', --tables 'tableA,tableB'
  • 增量：hbase backup create 'bk_20251227_incr', '/backup/hbase_bk', --tables 'tableA'
  • 恢复：hbase backup restore 'bk_20251227_full'（按需要指定时间点/增量链）
  • 适用：跨环境备份、定期全量+增量策略；需确保备份仓库与集群配置正确。

三 恢复策略与操作要点

• 故障类型与快速处置

  • HMaster 故障：确认 Zookeeper 正常后重启 HMaster；检查日志 /hbase/logs/hbase-*-master-*.log。
  • RegionServer 故障：确认 Zookeeper 正常后重启 RegionServer；观察负载与健康检查。
  • 数据文件异常/不一致：使用 hbck -repair 检测并修复一致性问题（谨慎在生产环境执行）。
  • 配置错误：核对 hbase-site.xml 关键配置（如 Zookeeper quorum、rootdir、hfile.format.version），修正后重启。

• 按备份手段的恢复流程

  • 快照恢复：
    • 回滚原表：disable 'tableA' → restore_snapshot 'snap_20251227_0000' → enable 'tableA'
    • 克隆新表：clone_snapshot 'snap_20251227_0000', 'tableA_restore'
  • Export/Import 恢复：在目标集群使用 Import 将对应目录导入到目标表（表结构需存在或兼容）。
  • DistCp 恢复：先停写（或置于维护模式），用 DistCp 将备份目录拷回 /hbase，再启动集群并校验。
  • Backup/Restore 恢复：使用 hbase backup restore 'backup_id'，按需指定表、时间点与覆盖策略。

四 自动化与容量规划

• 自动化与调度

  • 快照与备份建议纳入 cron 或调度平台（如 Oozie/Falcon）统一编排；示例（每日 02:00 全量）：
    • 0 2 * * * /usr/hbase/bin/hbase backup create 'daily_$(date +\%F)' --tables 'tableA,tableB'
  • 定期清理过期快照/备份，避免容量膨胀；对关键表保留多个历史版本以便回滚。

• 容量与性能建议

  • 预留 20–30% 的 HDFS 余量用于快照/备份与 Compaction；快照与 DistCp 任务尽量在业务低峰期执行。
  • 对大表执行 major compaction 后再备份可减少文件数、缩短 DistCp/恢复时间。
  • 跨集群/跨环境恢复时，确保 HBase 版本兼容 与 HDFS 权限/配额 正确配置。

五 验证与演练

• 建立例行 恢复演练 机制：每月或每季度对核心表执行一次“快照回滚/Export-Import/DistCp/Backup-Restore”的端到端演练，记录 RPO/RTO 并优化流程。
• 恢复后校验：使用 status 'simple'、scan 'tableA', {LIMIT => 1000} 等核对数据一致性与可用性；对关键业务场景进行抽样比对与回归测试。