Zookeeper监控手段有哪些

Zookeeper监控手段全览

一内置四字命令

通过向 2181 端口发送四字命令进行快速探测与诊断，常用命令与用途如下：
- ruok：健康检查，返回 imok 表示进程存活。
- stat / srvr：查看服务器状态与角色（leader/follower）、连接数、延迟等；srvr更简洁。
- mntr：输出机器可读的监控指标（如 zk_avg_latency、zk_num_alive_connections、zk_znode_count），适合做时序采集。
- cons：列出当前所有客户端连接与会话详情，定位异常来源。
- wchc / wchp：按 session 或路径列出 Watch，排查 Watch 泄漏（大数据量时慎用，可能阻塞）。
- envi / conf / dump / dirs：查看环境变量、配置、会话/临时节点快照、日志与快照目录磁盘使用。
安全与启用：在 zoo.cfg 配置白名单，例如：
- 4lw.commands.whitelist=stat,ruok,mntr,cons,srvr,envi,wchc,wchp
典型用法示例：
- echo mntr | nc localhost 2181
- echo ruok | nc localhost 2181
- echo srvr | nc localhost 2181
- echo cons | nc localhost 2181
- 注意：wchc/wchp 仅在排障时临时使用。

二 JMX 与可视化工具

JMX 指标暴露：Zookeeper 暴露丰富的 JMX MBean，可用 JConsole / VisualVM 直连查看，或通过 JMX Exporter 转为 Prometheus 指标。
常用指标举例：
- 延迟类：zk_avg_latency、zk_max_latency
- 连接与会话：zk_num_alive_connections、zk_outstanding_requests
- 数据与元数据：zk_znode_count、zk_watch_count
- 资源与句柄：zk_open_file_descriptor_count、zk_max_file_descriptor_count
集成方案：
- Prometheus + Grafana：以 JMX Exporter/专用 Exporter 采集，Grafana 展示与告警。
- Zabbix / Datadog：通过 JMX 或插件方式接入，适合企业级统一监控。

三日志与系统层面监控

日志监控：
- 日志位置与级别：由 log4j.properties 控制，常见路径为 logs/zookeeper-server-*.log；关注 WARN/ERROR 如连接异常、连接数过多等。
- 集中化：使用 Fluentd / Logstash 收集，配合 Elasticsearch + Kibana 检索与可视化。
系统与容器：
- Linux 基础：使用 ps、netstat 检查进程与 2181 端口监听；结合 docker stats / logs / exec 在容器环境排查。
- 资源与健康：监控 CPU、内存、磁盘 IO、网络 等系统资源，防止资源瓶颈影响一致性性能。

四客户端与编程式监控

五关键监控指标与告警建议

集群角色与健康：
- 角色稳定（leader/follower 正常）、法定人数可达成；四字命令 ruok 与 mntr 的 zk_server_state 正常。
延迟与吞吐：
- zk_avg_latency / zk_max_latency 突增、zk_packets_received / zk_packets_sent 异常波动，可能预示网络或后端压力。
连接与会话：
- zk_num_alive_connections 接近或超过 maxClientCnxns、出现大量异常断开，需排查客户端泄漏或恶意连接。
请求堆积与稳定性：
- zk_outstanding_requests 持续增长，可能后端处理能力不足或 GC/磁盘问题。
数据与元数据规模：
- zk_znode_count、zk_watch_count 持续攀升，关注 Watch 泄漏与节点膨胀。
资源与句柄：
- open_file_descriptor_count 接近 max_file_descriptor_count，及时扩容或优化文件句柄使用。
存储与日志：
- 事务日志与快照目录（由 dirs 可见）磁盘空间不足会导致写入失败甚至集群不可用，需设置监控与留痕告警。

最新问答