Debian HBase数据如何备份

Debian 上 HBase 备份与恢复实操指南

一备份方法总览与选择

表级快照 Snapshot + ExportSnapshot：对单表或少量表做时间点备份，开销小、可快速回滚；适合日常点与小规模恢复。
Export/Import MapReduce：将表数据导出到 HDFS 或本地再导入，支持按时间窗口导出，便于跨集群迁移与逻辑备份。
CopyTable：在同一或远端集群间按表复制数据，可指定时间区间、列族映射，适合临时的表级复制与补数据。
HDFS 层面备份 DistCp/冷拷贝：对底层 /hbase 目录做块级复制或跨集群镜像，适合大规模、快速恢复与灾备演练。
说明：HBase 的 hbck 主要用于检查与修复一致性，并非备份工具；如需“增量”能力，通常采用按时间窗口的 Export/Import 或表复制方案实现。

二方法一表级快照 Snapshot 与 ExportSnapshot（推荐）

步骤

在 HBase Shell 创建快照（对目标表执行一次即可）
```
hbase> snapshot 'tbl_bak_20251205', 'mytbl'
```

使用 ExportSnapshot 将快照导出到备份目录（HDFS）

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
  -snapshot 'tbl_bak_20251205' \
  -copy-to hdfs://namenode:8020/hbase/backup/tbl_bak_20251205

异地/离线归档：将导出的快照目录再用 DistCp 复制到远端存储或备份集群

hadoop distcp -m 50 \
  hdfs://namenode:8020/hbase/backup/tbl_bak_20251205 \
  hdfs://backup-nn:8020/hbase/backup/tbl_bak_20251205

恢复（目标集群）

hbase org.apache.hadoop.hbase.snapshot.ImportSnapshot \
  -snapshot 'tbl_bak_20251205' \
  -copy-from hdfs://backup-nn:8020/hbase/backup/tbl_bak_20251205 \
  -target-namespace default

适用场景：单表/少量表的点时间备份、跨集群迁移、快速回滚；对线上影响小。

三方法二 Export/Import 与 CopyTable（逻辑备份与复制）

Export/Import（支持时间窗口，便于“增量”逻辑备份）

# 导出：按时间窗口导出到 HDFS
hbase org.apache.hadoop.hbase.mapreduce.Export \
  mytbl \
  hdfs://namenode:8020/hbase/export/mytbl_20251205 \
  3 \
  1733347200000 \
  1733433599000

# 导入：到同/异集群目标表（目标表需先建好且结构兼容）
hbase org.apache.hadoop.hbase.mapreduce.Import \
  mytbl \
  hdfs://namenode:8020/hbase/export/mytbl_20251205

CopyTable（同/跨集群表复制，可改列族名）

# 同集群
hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
  --families=cf1,cf2 mytbl mytbl_bak

# 跨集群（指定对端 ZK 地址）
hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
  --peer.adr=zk1:2181,zk2:2181,zk3:2181:/hbase \
  --families=cf1:cf1_new,cf2 mytbl mytbl_bak

适用场景：跨集群迁移、按时间窗口的“增量”导出、临时复制与补数据。

四方法三 HDFS 层备份 DistCp 或冷拷贝（大规模与灾备）

在线块级镜像（跨集群/异地）

hadoop distcp -m 100 -update -delete \
  hdfs://nn1:8020/hbase \
  hdfs://backup-nn:8020/hbase_bak_20251205

冷拷贝（停机窗口，直接拷贝底层目录）

# Debian 侧停 HBase
sudo systemctl stop hbase-master hbase-regionserver

# HDFS 层面拷贝
hdfs dfs -mkdir -p /hbase_bak_20251205
hdfs dfs -cp -r /hbase /hbase_bak_20251205

# 恢复（如需）
hdfs dfs -rm -r /hbase
hdfs dfs -cp -r /hbase_bak_20251205/hbase /hbase

# 启动 HBase
sudo systemctl start hbase-master hbase-regionserver

适用场景：大规模全量备份与快速回滚、跨机房/跨地域灾备演练；注意一致性窗口与停机影响。

五备份策略与运维要点

频率与保留：关键业务建议每日全量（快照/Export）+按小时/日窗口增量（Export 时间窗或 CopyTable）；保留7–30 天并做异地归档。
一致性：快照对 HBase 元数据与 HFiles 做一致性点；Export/Import 与 CopyTable 为扫描-写入过程，建议在低峰期执行并控制速率。
异地与多活：定期将备份目录用 DistCp 复制到不同机房/云区域；跨集群恢复时校验 namespace、表结构、列族、版本数 一致性。
校验与演练：每次备份后进行计数/校验和核验与小规模恢复演练；保留校验记录与操作手册。
监控与日志：关注 ExportSnapshot/DistCp/CopyTable 作业日志与 HBase Master/RegionServer 日志，设置告警与失败重试。

最新问答

相关标签