CentOS HBase故障排查实用技巧

CentOS 上 HBase 故障排查实用技巧

一快速定位流程

明确现象：记录是进程未起、读写异常、Region 长时间 RIT、连接超时等，并标注时间点与影响范围。
查看进程与端口：用 jps 确认 HMaster/RegionServer 是否在；用 netstat -tulpen | grep -E ‘16000|16020|2181|60000’ 检查关键端口（HMaster 16000、RegionServer 16020、ZooKeeper 2181，部分老版本 HMaster 60000）。
查日志：优先看 /var/log/hbase/ 下的 HMaster.log / RegionServer.log，关注 ERROR/Exception/FATAL 及堆栈；必要时配合 HBase Shell 的 status ‘detailed’ 查看集群与健康概况。
检查依赖：确认 HDFS 健康（NameNode/DataNode 正常、HDFS 可用空间充足）、ZooKeeper 会话正常（无频繁 Session expired）。
系统与环境：用 top/free/df 看资源；用 ping/traceroute/netstat 排查网络分区与端口连通；核对 Java 版本与 JAVA_HOME；检查 /etc/hosts 是否存在同一 IP 对应多个主机名等常见配置问题。

二常见故障与处理清单

症状	快速检查	处理要点
HMaster/RegionServer 起不来	进程缺失、端口占用、JVM 启动失败	释放被占用的 16000/16020/2181；核对 JAVA_HOME 与 GC_OPTS；查看 out/log 中的 Unrecognized VM option 等启动参数错误并修正
Region 长时间 RIT 或无法上线	hbck 报告不一致、meta 异常	先 hbck -fixAssignments 修复分配；必要时按提示修复 hbase:meta 异常条目；再重启相关服务
ZooKeeper 连接异常（ConnectionLoss/Session expired）	ZK 集群状态、会话超时	用 zkCli.sh 检查 ZK 状态；适当增大 ZooKeeper 会话超时；排查网络与防火墙
时钟漂移导致拒绝启动	节点间时间差	校准 NTP，确保与 Master 时差小于 30s（参数 hbase.regionserver.maxclockskew，默认 30000ms）
/etc/hosts 配置错误	同一 IP 多主机名	修正 /etc/hosts，保证 IP ↔ 主机名一一对应
端口冲突（如 16020 被 DFSZKFailoverController 占用）	lsof -i:16020 查占用	结束冲突进程或调整端口范围/配置，重启 RegionServer
WAL 分裂失败导致反复重启	大 Block 导致 seek 异常	检查 /hbase/WALs 健康；必要时备份后重建目录并恢复
HDFS 空间不足或目录缺失	hdfs dfs -df -h /hbase；HMaster 报路径缺失	清理或扩容 HDFS；若 acl 表路径丢失，按流程在 ZK 中清理相关节点后重启

三关键命令与操作示例

进程与端口
- 查看进程：jps
- 检查端口：netstat -tulpen | grep -E ‘16000|16020|2181’
HBase Shell 健康检查
- 集群状态：status ‘detailed’
- 修复分配：hbck -fixAssignments
ZooKeeper 状态
- 连接与查看：zkCli.sh -server zk1:2181
HDFS 健康与 WAL 处理
- 健康检查：hdfs fsck /hbase
- 备份与重建 WAL 目录：
  - hdfs dfs -mv /hbase/WALs /hbase/WALs_old
  - hdfs dfs -mkdir /hbase/WALs
  - 确认权限为 hbase:hadoop 后启动 HBase
日志定位
- 关键路径：/var/log/hbase/（HMaster/RegionServer 日志）
  以上命令覆盖进程/端口/健康/依赖/存储的快速验证与修复路径，适合作为现场排查的“第一响应”操作集。

四性能问题定位与优化要点

读写出慢
- 表健康：用 hbck 检查是否有 RIT/不一致；必要时修复后再压测。
- 热点与分布：在 HMaster Web UI（60010） 查看 Region 分布与请求 QPS，对热点表进行预分区，避免单 Region 热点。
- GC 与停顿：用 jstat -gcutil 或 grep -i “JvmPause” RegionServer.log 观察 GC 时长与频率，必要时优化堆与 GC 策略。
- 存储与合并：major compaction 才会清理过期数据；在低峰期执行，避免影响在线业务。
写入放大与合并风暴
- 合理设置 压缩（如 Snappy/LZO）、块大小与合并策略，减少小文件与读放大。
资源与负载
- 用 top/free/iostat 检查 CPU/内存/IO；结合 Ganglia/Grafana 趋势定位瓶颈。
连接与超时
- 读写压力大时，适当调大 ZooKeeper 会话超时 与客户端相关超时，避免误判失败。
  以上方法覆盖热点、GC、合并、资源、配置五个维度，能快速定位大多数性能瓶颈并给出优化方向。

五预防与运维建议

基础配置
- 规范 /etc/hosts 与 DNS，确保 IP ↔ 主机名 唯一映射；统一 NTP 时间同步。
- 明确 hbase.rootdir 与 hbase.zookeeper.quorum 等关键配置，避免路径与地址错误。
端口与进程
- 启动前用 netstat 检查 16000/16020/2181 等端口占用，避免端口冲突导致反复重启。
资源与参数
- 合理规划 Region 数量与预分区；控制 memstore + block cache 占比，避免超过 0.8 导致启动失败或性能劣化。
数据与元数据
- 定期 hbck 巡检；重要变更前先做快照；谨慎操作 ZK 元数据。
变更与回滚
- 参数调整、版本升级、拓扑变更遵循灰度/回滚预案，变更后第一时间复核 日志/监控/健康检查。
  这些做法能显著降低故障率，并在问题发生时缩短定位与恢复时间。

最新问答