如何进行 Debian HBase 故障排查

Debian 上 HBase 故障排查实操手册

一快速定位流程

进程与端口：在每台节点执行 jps，确认存在 HMaster / HRegionServer；检查默认端口 16000/16020（HMaster/RegionServer）与 2181（ZooKeeper）是否被占用，必要时用 lsof -i:端口 或 netstat -tulpen | grep 端口 定位占用进程并处理。
基础连通：用 ping 与 telnet 主机 2181/16020 验证网络与端口可达性；客户端与服务端 版本兼容 要一致（hbase version）。
依赖状态：确认 ZooKeeper 已启动（jps 可见 QuorumPeerMain），HDFS 正常（hdfs dfsadmin -report）。
日志优先：第一时间查看 $HBASE_HOME/logs/hbase--master-.log 与 hbase--regionserver-.log，从异常栈与报错关键词入手。
HBase Shell 验证：执行 hbase shell → status，必要时用 status ‘detailed’ 查看 Region 分布与在线情况。

二常见故障与修复对照表

症状	快速检查	修复建议
无法连接 HBase	jps 无 HMaster/HRegionServer；telnet 2181/16020 失败；客户端与服务端版本不一致	启动缺失进程；释放或更换端口；统一客户端/服务端版本
HMaster 一直 Initializing master service	hbase-site.xml 中 hbase.rootdir / hbase.zookeeper.quorum 配置错误；ZooKeeper 未起；HDFS 异常	修正配置；启动 ZooKeeper；用 hdfs dfsadmin -report 排查 HDFS；重启 HBase
RegionServer 起不来 / 处于 Restoring	端口被占用（如 16020）；节点内存不足；残留进程未退出	用 lsof 查杀占用进程；释放内存或扩容；清理残留进程后重启
启动失败且日志提示 FileNotFoundException（协处理器 JAR 不存在）	RegionServer 启动加载协处理器时报错	确认 HDFS 上协处理器 JAR 路径正确；如缺失上传 JAR 或临时移除协处理器再启
启动失败且日志提示 The DiskSpace quota of /hbase is exceeded	HDFS 配额或磁盘已满	清理无用数据或扩容；解除/调整 HDFS 配额
启动失败且 hbase.version 损坏	hadoop fs -cat /hbase/hbase.version 异常	执行 hbase hbck -fixVersionFile；或拷贝同版本健康集群的 hbase.version 覆盖
写入超时/阻塞	RegionServer 日志有 WAL/Flush 异常；表 INCONSISTENT；MemStore/BlockCache 超限	用 hbase hbck -details/repair 修复表一致性；flush 表；检查列族参数与 GC
大量 IO、报错 OP_READ_BLOCK / CorruptHFile	RegionServer 处理 WALs 耗时；HDFS 块缺失/损坏/副本不足	用 hdfs fsck /hbase/data -files -blocks -locations 检查；必要时按提示修复或删除损坏文件；核查 DataNode 与网络
无业务但 CPU 飙高	top -H -p <RS_PID> 看到大量 compaction 线程	正常现象（压缩/合并）；在低峰期执行 major compaction 或优化策略
外部通过 Phoenix 访问慢	同 VPC 仍慢	检查 DNS 解析耗时；必要时在 /etc/resolv.conf 注释 DNS 或优化解析

三关键命令清单

进程与端口
- jps
- lsof -i:16020
- netstat -tulpen | grep 2181
依赖与连通
- hdfs dfsadmin -report
- zkServer.sh status（或 echo stat | nc zk_host 2181）
- telnet zk_host 2181
- hbase version
HBase 运维
- hbase shell
  - status / status ‘detailed’
  - list
  - describe ‘<表名>’
  - flush ‘<表名>’
  - assign ‘’
- hbase hbck -details <表名>；hbase hbck -repair
HDFS 健康检查与修复
- hdfs fsck /hbase/data/default -files -blocks -locations
- hdfs fsck /hbase/data/default -delete -files -blocks（谨慎使用）
JVM 与线程
- jstat -gcutil <RS_PID>
- jstack <RS_PID> > rs.stack
- top -H -p <RS_PID>；printf “%x\n” <线程ID>

四 Debian 环境专项检查

Java 与环境变量
- 确认 OpenJDK 8+ 已安装：java -version
- 在 $HBASE_HOME/conf/hbase-env.sh 正确设置 JAVA_HOME
系统资源与限制
- 检查内存与磁盘：free -h、df -h
- 适当提升文件描述符与进程数限制（/etc/security/limits.conf），避免 “Too many open files”
权限与目录
- 确保 /hbase 及日志、数据目录属主为 hbase 用户，权限正确
配置要点
- 伪分布式常见配置：
  - hbase.rootdir：file:///usr/local/hbase/data 或 hdfs://localhost:9000/hbase
  - hbase.zookeeper.property.dataDir：/usr/local/zookeeper
  - hbase.zookeeper.quorum：localhost
  - hbase.zookeeper.property.clientPort：2181
- 分布式请将 quorum 改为实际主机列表，并保证 /etc/hosts 或 DNS 解析正确

五性能与稳定性优化要点

表与 Region 健康
- 定期 hbck 检查；出现 INCONSISTENT 用 hbck -repair；Region 未分配可手动 assign
- 避免热点：合理设计 RowKey、预分 Region（单 Region 建议 5–10GB），大批量导入优先 Bulk Load
内存与 GC
- 控制堆与缓存占比，避免 hbase.regionserver.global.memstore.size + hfile.block.cache.size > 0.8；结合 G1GC 与合适的堆大小
- 关注 长时间 GC 导致的 RS 与 ZooKeeper 会话超时、Region 迁移与雪崩
读写路径与存储
- 关注 WAL/Flush/Compaction 压力；必要时在低峰期执行 major compaction
- 核查 HDFS 副本数（建议 3）、坏块与 DataNode 健康；IO 异常时优先排查块缺失/损坏与网络
负载与网络
- 监控 网卡带宽、磁盘 IO、CPU；避免单 RS 承载过多 Region（上千 Region 易引发频繁 flush/compaction 与 Full GC）
客户端与解析
- 客户端 hbase-site.xml 与集群保持一致（ZooKeeper 地址、超时等）；外部访问慢可优先排查 DNS 解析

最新问答

相关标签