centos hbase故障恢复流程是怎样的

CentOS 上 HBase 故障恢复流程

一 恢复总览与准备

• 明确故障现象：如集群不可用、读写异常、节点宕机、启动失败等，先记录影响范围与时间点。
• 备份当前状态：在进行任何修复前，先备份 HBase 数据目录与配置文件，避免二次损坏。
  示例：cp -r /hbase/data /hbase/data_backup_$(date +%F_%T)
• 检查依赖服务：确认 ZooKeeper 集群健康（如四字命令 ruok/stat）、HDFS 正常（hdfs dfsadmin -report）、网络与防火墙策略无误。
• 收集日志与诊断：查看 HBase 日志（常见路径：/hbase/logs/ 或 /var/log/hbase/），并用 HBase Shell 做快速体检：status 'detailed'、scan 'hbase:meta', {LIMIT => 10}。
• 准备回滚方案：保留一份当前配置与关键目录的快照，便于无法修复时快速回滚。

二 常见故障与恢复操作

三 恢复后的验证与善后

• 集群健康：./hbase shell 执行 status 'simple' 与 status 'detailed'，确认 Region 在线、负载均衡正常。
• 元数据与数据：检查 hbase:meta 健康（scan 'hbase:meta', {LIMIT => 10}），抽样扫描关键表：scan 'your_table_name', {LIMIT => 1000}。
• 监控与告警：观察 RPC 延迟、请求错误率、Region 分布 等指标，确保恢复后性能与稳定性恢复。
• 变更留痕：记录故障原因、修复步骤与影响范围，更新 应急预案 与 运行手册。

四 预防与高可用建议

• 启用 HMaster 高可用（多 Master 自动故障转移），避免单点。
• 建立 定期备份/快照 策略（含关键表与全量快照），并演练恢复流程。
• 持续 监控与告警（如 Prometheus/Grafana 或 Ganglia），关注 Region 上线慢、连接超时、负载不均 等早期信号。
• 规范配置与权限：核对 hbase.rootdir、hbase.zookeeper.quorum、hbase.cluster.distributed 等关键项，确保目录与文件权限正确。
• 定期 hbck 巡检 与 WAL/HFile 健康检查，在业务低峰期处理不一致。

五 注意事项与风险提示

• 执行 hbck -repair 前务必做好 完整备份；自动修复可能造成 数据重写/Region 移动，请在维护窗口进行并全程监控。
• 避免直接操作 hbase:meta 与生产 HFile；确需手工干预时，先停写、备份并在测试环境验证。
• 若 HDFS 存在 块丢失/只读，应先恢复 HDFS 再启动 HBase，防止进一步恶化。
• 恢复失败或数据不一致扩大时，优先 回滚到最近快照/备份，再逐步追平增量。