HBase故障排查在Debian中如何进行

Debian环境下HBase故障排查实战手册

一 快速定位流程

• 检查进程与端口：确认 HMaster/RegionServer 是否存活，常用端口 16000/16010/2181 是否监听。
• 查看服务状态：用 hbase shell status 或 echo “status ‘simple’” | hbase shell 获取集群概况。
• 访问 Web UI：打开 http://:16010 查看 Live/Dead RegionServers、负载与告警。
• 系统日志：用 journalctl -u hbase-master/hbase-regionserver -f 实时跟踪服务日志；必要时查看 /var/log/ 下的相关日志。
• 应用日志：到 $HBASE_HOME/logs/ 查看 hbase--master-.log、hbase--regionserver-.log 的错误堆栈与异常关键词。

二 常见故障与修复要点

• 无法连接到 ZooKeeper

  • 检查 ZK 是否运行：jps | grep QuorumPeerMain；若未运行，启动 ZK。
  • 核对 hbase-site.xml 的 hbase.zookeeper.quorum 与 hbase.zookeeper.property.clientPort=2181；在 ZK 节点确认 clientPort=2181 未被占用或拦截。
  • 网络连通性：ping 与 telnet <zk_host> 2181 验证；排查防火墙/安全组策略。
  • 版本兼容：确认 HBase 与 ZooKeeper 版本匹配。必要时重启服务验证恢复。

• 启动报错 ServerNotRunningYetException

  • 依赖服务：确认 ZooKeeper 已就绪、HDFS 的 NameNode/DataNode 正常；HDFS 处于安全模式时先执行 hadoop dfsadmin -safemode leave。
  • 配置与端口：核对 hbase-site.xml 关键参数；排查 16000/16010 等端口冲突（netstat/lsof）。
  • 资源与存储：检查 JVM 堆 与 磁盘空间；HDFS 空间不足会导致写入阻塞。
  • 目录权限：HDFS 上 /hbase 目录属主/权限正确（如 hbase:hadoop）。

• RegionServer 无法启动或 Web UI 打不开

  • 进程与端口：确认 HRegionServer 进程存在并监听 16020/16030；端口冲突需释放或调整配置。
  • 旧版 UI 端口：HBase 1.x 的 60010 在新版本已不再默认启用；如需访问旧端口，需在 hbase-site.xml 显式配置 hbase.master.info.port=60010。

• HDFS 块损坏或读取异常（WAL/IO 突增）

  • 健康检查：执行 hdfs fsck /hbase -files -blocks -locations，关注 CORRUPT/MISSING/UNDER_REPLICATED。
  • 修复措施：对损坏文件或目录执行清理/修复（如 -delete），并复核副本数；必要时滚动重启 RegionServer 观察 IO 是否恢复。

• Java API 报错 error in opening zip file

  • 依赖与包完整性：排查 classpath 中是否存在损坏或不可读的 JAR；用 jar tf <file.jar> 校验；Maven/Gradle 依赖版本与范围保持一致。

三 Debian系统侧排查与维护

• 时间同步：跨节点时间漂移会引发异常，建议安装并启用 NTP/ntpdate 同步时间（如 server cn.pool.ntp.org），并校准时区。
• 系统日志：使用 journalctl 按服务、时间、关键字过滤（如 journalctl -u hbase-master -f -p err | grep -i “error”）；必要时在 /var/log/ 下检索关键字。
• 资源与磁盘：用 free -m / df -h 检查 内存/磁盘；HDFS 与本地 WAL/日志 分区留出余量，避免因空间不足导致写入失败或进程崩溃。

四 一键健康检查命令清单

• 进程与端口
  • jps | egrep “HMaster|HRegionServer|QuorumPeerMain”
  • ss -lntp | egrep “16000|16010|2181”
• 服务状态与连通
  • echo “status ‘simple’” | hbase shell
  • curl -I http://:16010
  • zkCli.sh -server <zk_host>:2181 ls /hbase
• HDFS 健康
  • hdfs dfsadmin -report
  • hdfs dfs -ls /hbase
  • hdfs fsck /hbase -files -blocks -locations
• 日志与系统
  • tail -n100 $HBASE_HOME/logs/hbase--master-.log
  • tail -n100 $HBASE_HOME/logs/hbase--regionserver-.log
  • journalctl -u hbase-master -f -p err
  • grep -i “error|exception” /var/log/syslog

五 变更与回滚建议

• 配置变更（如 hbase-site.xml、端口、JVM 堆）先在测试环境验证，再滚动发布；变更前备份配置与关键目录。
• 清理 HDFS 数据或 ZooKeeper 元数据前务必做好备份；必要时使用 hbase clean --cleanAll 并重建目录，严格按官方流程执行。
• 升级 HBase/ZooKeeper 前确认版本兼容矩阵；回滚方案与数据备份同样需要提前准备。