CentOS下HBase备份策略

CentOS下HBase备份策略

一 策略总览与适用场景

• 建议采用“快照 + 备份仓库（Backup/DistCp/ExportSnapshot） + 跨集群复制（Replication）”的多层方案，以在RPO/RTO与成本之间取得平衡。
• 方法对比与适用场景如下：

二 推荐备份策略组合

• 日常保护与快速回滚：对关键表开启快照，按日/周保留，结合脚本自动清理；用于误删、回滚、克隆测试。
• 异地/跨集群灾备：启用Backup/Restore做每日全量 + 每小时增量到远端备份仓库；定期（如每周）演练恢复，验证RPO/RTO。
• 近实时容灾：配置Replication到同城/异地从集群，作为第一层防线；与备份策略分层，避免单点失效。
• 跨版本/跨环境迁移：使用Export/Import或ExportSnapshot + 远端ImportSnapshot，在维护窗口完成切换与校验。
• 大规模离线归档：在停机窗口使用DistCp拷贝HBase根目录至冷备存储，仅作兜底方案。

三 关键操作示例

• 快照与克隆/恢复（同一集群）
  • 创建快照：hbase shell> snapshot ‘tbl’,‘snap_20260111’
  • 克隆为新表：hbase shell> clone_snapshot ‘snap_20260111’,‘tbl_bak’
  • 回滚原表：hbase shell> disable ‘tbl’ → restore_snapshot ‘snap_20260111’ → enable ‘tbl’
  • 删除快照：hbase shell> delete_snapshot ‘snap_20260111’
• 跨集群快照迁移（ExportSnapshot）
  • 导出：hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
    -snapshot snap_20260111
    -copy-from hdfs://src-nn:8020/hbase
    -copy-to hdfs://dst-nn:8020/hbase_backup/snap_20260111
    -mappers 4 -bandwidth 100（单位MB，按带宽限流）
  • 远端导入：hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
    -snapshot snap_20260111
    -copy-from hdfs://dst-nn:8020/hbase_backup/snap_20260111
    -copy-to hdfs://dst-nn:8020/hbase
  • 远端克隆：hbase shell> clone_snapshot ‘snap_20260111’,‘tbl’
• Backup/Restore（需启用备份功能）
  • 全量备份：hbase backup create full hdfs://backup-hdfs/hbase/backup_20260111
  • 增量备份：hbase backup create incremental hdfs://backup-hdfs/hbase/backup_20260111_incr
  • 查看备份：hbase backup describe
  • 恢复：hbase backup restore backup_id|backup_path [-tables tbl1,tbl2]
• Export/Import 增量（按时间窗口）
  • 全量导出：hbase org.apache.hadoop.hbase.mapreduce.Export tbl /backup/hbase/tbl_full_20260111
  • 增量导出（时间戳毫秒）：hbase org.apache.hadoop.hbase.mapreduce.Export tbl /backup/hbase/tbl_incr_20260111 1718131200000 1718217599000
  • 导入：hbase org.apache.hadoop.hbase.mapreduce.Import tbl /backup/hbase/tbl_incr_20260111
  • 提示：Import支持bulk方式（先生成HFile再导入）以提升性能。

四 自动化与运维要点

• 备份窗口与限速：将重任务（Export/ExportSnapshot/DistCp）放在低峰时段；使用带宽限制与并发度参数避免影响业务。
• 保留与校验：为快照/备份设置TTL与保留策略（如日备7天、周备4周、月备3月）；定期做恢复演练与校验和/行数比对。
• 元数据与一致性：除表数据外，定期备份ZooKeeper znode中的HBase元数据；对启用Replication的表执行快照恢复前，先停止复制并重新引导（redo bootstrap），避免WAL与快照不一致。
• 监控与告警：监控DistCp/Export/Backup作业状态、HDFS容量、NameNode/RegionServer负载；对失败作业自动重试并告警。

五 恢复流程与注意事项

• 快照恢复：对目标表执行disable → restore_snapshot → enable；若表启用Replication，需先停复制并redo bootstrap后再恢复，避免复制位点错乱。
• Backup恢复：使用hbase backup restore指定backup_id或备份路径与表清单；跨集群恢复时确保HBase版本兼容与备份仓库可达。
• Export/Import恢复：先按原列族/版本/TTL创建空表，再执行Import；大数据量建议用bulk方式导入以提升速度。
• DistCp恢复：仅在停机窗口执行；拷贝完成后按正确目录结构放置，并重启集群或通过工具加载元数据，避免Region/元数据不一致。