如何在Debian上配置HBase监控告警

在Debian上配置HBase监控告警

一监控体系与端口

内置观测
- HBase Master Web UI：访问 http://:16010/master-status，查看集群健康、RegionServer 列表、表/Region 分布等。
- HBase Shell：执行 status ‘simple’ 快速判断集群是否可用。
- JMX：HBase 通过 JMX 暴露 JVM/GC/RegionServer 等指标，常用端口为 16010（Master JMX）、16020（RegionServer JMX），可用 JConsole/VisualVM 远程连接查看。
第三方监控
- Prometheus + Grafana：以 JMX Exporter 采集 HBase JMX 指标，Grafana 做可视化与告警。
- Zabbix：通过自定义脚本/Exporter 采集指标，配置触发器实现告警。

二方案一 Prometheus JMX Exporter 告警

部署 JMX Exporter

下载 jmx_exporter（版本号按需选择），在 /opt/prometheus/ 解压，创建 HBase 专用配置 /opt/prometheus/hbase_jmx_config.yml（示例抓取 Master 与 RegionServer 常用 MBean）：

rules:
  - pattern: "Hadoop:service=HBase,name=Master,sub=Server"
  - pattern: "Hadoop:service=HBase,name=Master,sub=IPC"
  - pattern: "Hadoop:service=HBase,name=Master,sub=Balancer"
  - pattern: "Hadoop:service=HBase,name=RegionServer,sub=Server"
  - pattern: "Hadoop:service=HBase,name=RegionServer,sub=IPC"
  - pattern: "Hadoop:service=HBase,name=RegionServer,sub=WAL"
  - pattern: "java.lang:type=Memory"
  - pattern: "java.lang:type=GarbageCollector,name=.*"

启动 JMX Exporter 作为 Java Agent（示例为 Master，RegionServer 类似，仅更换 JMX 端口与进程名）：
```
java -javaagent:/opt/prometheus/jmx_prometheus_javaagent-<ver>.jar=9404:/opt/prometheus/hbase_jmx_config.yml \
  -cp $HBASE_HOME/lib/*:$HBASE_HOME/conf \
  org.apache.hadoop.hbase.master.HMaster start
```
说明：将 JMX Exporter 端口（示例 9404）与 HBase 进程的 JMX 端口（Master 16010、RegionServer 16020）区分开，Exporter 通过 JMX 远程连接 HBase。

配置 Prometheus 抓取

编辑 prometheus.yml，新增 job（示例抓取 Master 与两台 RegionServer）：

scrape_configs:
  - job_name: 'hbase-master'
    static_configs:
      - targets: ['master.example.com:9404']
  - job_name: 'hbase-regionserver'
    static_configs:
      - targets: ['rs1.example.com:9404','rs2.example.com:9404']

Grafana 告警规则示例

在 Prometheus 中创建规则文件 hbase.rules.yml（示例阈值可按需调整）：

groups:
- name: hbase
  rules:
  - alert: HBaseMasterDown
    expr: up{job="hbase-master"} == 0
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "HBase Master 不可用"
      description: "HBase Master {{ $labels.instance }} 已宕机超过 1 分钟。"

  - alert: HBaseRegionServerDown
    expr: up{job="hbase-regionserver"} == 0
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "HBase RegionServer 不可用"
      description: "RegionServer {{ $labels.instance }} 已宕机超过 1 分钟。"

  - alert: HBaseMemstoreUsageHigh
    expr: (1 - (hadoop_hbase_RegionServer_MemStoreMemoryUsage{}/hadoop_hbase_RegionServer_MemStoreLimit)) < 0.2
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "MemStore 使用率过高"
      description: "RegionServer {{ $labels.instance }} MemStore 剩余不足 20%."

  - alert: HBaseRPCLatencyHigh
    expr: rate(hadoop_hbase_RegionServer_RPCQueueTime_num_ops[5m]) / rate(hadoop_hbase_RegionServer_RPCQueueTime_sum[5m]) > 1
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "RPC 队列时间过长"
      description: "RegionServer {{ $labels.instance }} 5 分钟平均 RPC 队列时间 > 1s."

Grafana 添加 Prometheus 数据源，导入 HBase 仪表盘（社区有现成面板），并在 Alerting → Alert rules 中加载上述规则，配置 Notification channels（如 Email、企业微信、钉钉、Webhook）。

三方案二 Zabbix 告警

部署 Zabbix Agent

安装 Zabbix Agent（Debian 10/11 示例）：

wget https://repo.zabbix.com/zabbix/6.0/debian/pool/main/z/zabbix-release/zabbix-release_6.0-4+debian11_all.deb
sudo dpkg -i zabbix-release_6.0-4+debian11_all.deb
sudo apt update && sudo apt install -y zabbix-agent
sudo systemctl enable --now zabbix-agent

自定义监控项
- 方式 A（推荐）：使用 JMX Exporter + Zabbix JMX Discovery，自动发现 HBase 进程与指标。
- 方式 B：编写脚本采集 HBase Shell 或 REST/Thrift 状态，输出为 Zabbix 键值。示例脚本 /usr/local/bin/hbase_status.sh：
```
#!/usr/bin/env bash
echo "simple" | hbase shell -n 2>/dev/null | grep -E '^\d+ live servers' | awk '{print $1}'
```
  在 /etc/zabbix/zabbix_agentd.conf 增加：
```
UserParameter=hbase.live_servers,/usr/local/bin/hbase_status.sh
```
  重启 Zabbix Agent：sudo systemctl restart zabbix-agent
前端配置
- 在 Zabbix 前端创建 监控项（键值：hbase.live_servers，类型：Zabbix Agent），创建 触发器（如 hbase.live_servers 小于 1 触发严重告警），并配置动作（邮件/企业微信/钉钉/Webhook 通知）。

四关键告警规则与阈值建议

服务可用性
- HBase Master 不可用（Master JMX/进程探测失败，连续 1–2 分钟）。
- RegionServer 不可用（任一 RS JMX/进程探测失败，连续 1–2 分钟）。
资源与性能
- MemStore 使用率过高（剩余不足 20%，持续 5 分钟）。
- BlockCache 命中率过低（低于 80%，持续 5 分钟）。
- RPC 延迟过高（平均队列/处理时间 > 1s，持续 5 分钟）。
- Region 分布不均（各 RS 的 Region 数量差异超过 30%，持续 10 分钟）。
存储与写入
- StoreFile 数量/大小异常增长（短期增幅 > 50%）。
- Compaction 积压（队列长度 > 10，持续 10 分钟）。
依赖组件
- HDFS 可用空间不足（剩余 < 20% 或 DataNode 异常）。
- ZooKeeper 会话异常/不可用（四字命令 stat 失败或连接超时）。

五快速验证与排错

连通性与指标
- 访问 http://:16010/master-status 确认 UI 正常。
- 使用 JConsole 连接 :16010/16020 验证 JMX 暴露的指标。
- 访问 http://:9404/metrics 确认 JMX Exporter 已输出指标；在 Prometheus Targets 页面检查 UP 状态。
日志与依赖
- 查看 $HBASE_HOME/logs/hbase-*.log 是否有 OutOfMemoryError、GC 超时、RegionServer 频繁重启 等异常。
- 使用 echo stat | nc zk1 2181 检查 ZooKeeper 状态；使用 hdfs dfsadmin -report 检查 HDFS 健康。

最新问答

相关标签