CentOS HBase如何进行数据备份恢复

CentOS 上 HBase 备份与恢复实操指南

一 常用备份方法对比

二 备份操作步骤

• 快照 Snapshot（推荐先做）

  1. 连接 HBase Shell：hbase shell
  2. 创建快照：snapshot ‘snap_20251217’, ‘tbl1’
  3. 查看快照：list_snapshots
  4. 克隆为新表验证：clone_snapshot ‘snap_20251217’, ‘tbl1_bak’
  5. 如需回滚：disable ‘tbl1’; restore_snapshot ‘snap_20251217’; enable ‘tbl1’
     说明：快照为轻量元数据操作，适合频繁时间点保护。

• Export/Import（跨集群/跨版本或小规模）

  1. 导出到 HDFS 或本地：
     hbase org.apache.hadoop.hbase.mapreduce.Export tbl1 /backup/tbl1_export
  2. 目标集群/环境准备：先建表（列族需一致）
     hbase shell: create ‘tbl1’, {NAME => ‘cf1’, VERSIONS => 3}
  3. 导入：
     hbase org.apache.hadoop.hbase.mapreduce.Import tbl1 /backup/tbl1_export
     说明：Export/Import 通过 MR 作业导出/导入，适合小表或验证性恢复。

• DistCp 拷贝 HDFS 目录（同版本整库/多表）

  1. 备份：
     hadoop distcp -m 50 hdfs://nn1:8020/hbase /backup/hbase_20251217
  2. 恢复（谨慎覆盖）：
     hadoop distcp -m 50 /backup/hbase_20251217/hbase hdfs://nn1:8020/hbase
     说明：并行复制效率高，适合 TB 级数据；建议在停写或一致性窗口执行。

三 恢复操作步骤

• 从快照恢复

  1. 校验：hbase shell: list_snapshots
  2. 回滚：disable ‘tbl1’; restore_snapshot ‘snap_20251217’; enable ‘tbl1’
  3. 验证：count ‘tbl1’ 或 scan 抽样检查。

• 从 Export/Import 恢复

  1. 目标表结构需与导出前一致（列族、版本等）
  2. 执行导入：hbase org.apache.hadoop.hbase.mapreduce.Import tbl1 /backup/tbl1_export
  3. 校验数据一致性与行数。

• 从 DistCp 恢复

  1. 建议先备份现网 /hbase 目录（应急回滚）
  2. 使用 DistCp 覆盖恢复至 HDFS 目标路径
  3. 重启 HBase 并校验：hbase shell: status ‘simple’; scan ‘tbl1’, {LIMIT => 10}。

四 一致性、可用性与演练建议

• 选择低峰时段执行备份/恢复，避免业务峰值；大数据量任务设置合理并发与带宽限制。
• 定期做恢复演练与校验（如行数、重要样本数据对比），验证备份可用性与 RTO/RPO 达标。
• 结合业务选择策略：日常用快照做时间点保护；跨集群/跨版本用Export/Import；同版本大库迁移/灾备用DistCp。
• 对关键表启用多副本与监控告警，出现异常先保留现场（日志、HDFS 目录）再处置。

五 常见故障的快速处置

• HMaster 宕机：确认 Zookeeper 正常后重启 HMaster；检查日志：tail -f /hbase/logs/hbase--master-.log。
• RegionServer 宕机：确认 Zookeeper 正常后逐个重启 RegionServer；观察负载与 GC。
• 数据文件损坏/不一致：使用 HBase 自带检查修复工具：/hbase/bin/hbck -repair；修复后重启相关服务并校验。
• 配置错误：核对 hbase-site.xml 关键配置（如 hbase.rootdir、zookeeper.quorum），修正后重启。
• 恢复后验证：hbase shell: status ‘simple’; scan ‘your_table’, {LIMIT => 10}。