Ubuntu Kafka如何监控集群状态

Ubuntu环境下监控Kafka集群状态的常用方法

1. 使用Kafka自带命令行工具（基础监控）

Kafka自带的命令行工具是最基础的监控手段，无需额外安装软件，适合快速查看集群状态。

查看Topic列表：通过kafka-topics.sh脚本列出所有Topic，确认Topic是否存在及名称是否正确。
```
kafka-topics.sh --list --bootstrap-server localhost:9092
```
查看消费者组状态：使用kafka-consumer-groups.sh脚本列出所有消费者组，了解消费组的订阅情况。
```
kafka-consumer-groups.sh --list --bootstrap-server localhost:9092
```
查看消费者组详细消费情况：通过--describe参数查看指定消费者组的消费详情（如消费偏移量、Lag值、分区分配情况），判断消费是否滞后。
```
kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group your_consumer_group
```
查看集群统计信息：通过kafka-run-class.sh脚本获取集群的整体统计信息（如Broker数量、Topic数量、分区数）。
```
kafka-run-class.sh kafka.admin.OperationsList --zookeeper localhost:2181 --operation ListStats
```

2. 使用Kafka Exporter+Prometheus+Grafana（可视化监控）

这套组合是当前主流的Kafka监控方案，支持实时指标采集、存储和可视化，适合生产环境。

安装Kafka Exporter：通过Docker Compose部署多个Kafka Exporter实例（每个实例对接一个Broker），配置Broker地址和Kafka版本（如bitnami/kafka-exporter镜像）。示例docker-compose.yml配置：
```
version: '3.1'
services:
  kafka-exporter-1:
    image: bitnami/kafka-exporter:latest
    command: '--kafka.server=broker1:9092 --kafka.version=3.6.0'
    ports:
      - "9308:9308"
```
配置Prometheus：在Prometheus的prometheus.yml中添加Kafka Exporter的job，指定抓取间隔（如15s）和目标地址。
```
scrape_configs:
  - job_name: 'kafka-exporter'
    static_configs:
      - targets: ['localhost:9308']
```
使用Grafana展示数据：导入Kafka专用监控看板（如Grafana Kafka Dashboard），展示Broker吞吐量、消费者Lag、分区ISR数量等关键指标，支持告警配置。

3. 第三方开源监控工具

Kafka Manager

Kafka Manager是开源的Web管理工具，提供集群状态、Topic/分区管理、消费者组监控等功能。

安装步骤：下载解压后，修改application.conf中的kafka-manager.zkhosts为ZooKeeper地址（如localhost:2181），启动服务（bin/kafka-manager），通过浏览器访问即可查看集群信息。

Kafka Eagle

Kafka Eagle是功能更全面的监控工具，支持多集群管理、消费者Lag告警（邮件/钉钉/微信）、SQL查询Topic数据。

安装配置：解压后修改system-config.properties，配置ZooKeeper地址、MySQL数据库信息（用于存储监控数据），启动服务（ke.sh start），通过Web界面查看集群状态和告警信息。

Kafdrop

Kafdrop是基于Web的轻量级监控工具，界面友好，支持查看Topic详情、消费者组信息、创建/删除Topic。

运行方式：通过Docker运行，指定Kafka Broker地址（如localhost:9092）。
```
docker run -d --rm -p 9000:9000 -e KAFKA_BROKERCONNECT=localhost:9092 -e SERVER_SERVLET_CONTEXTPATH="/" obsidiandynamics/kafdrop
```
访问http://localhost:9000即可进入监控界面。

4. JMX监控（深入指标查看）

Kafka通过JMX暴露了大量内部指标（如吞吐量、延迟、磁盘使用率），可通过JConsole、VisualVM等工具连接查看。

配置JMX端口：在Kafka启动脚本（kafka-server-start.sh）中添加JMX参数：
```
export JMX_PORT=9999
```
连接工具：使用JConsole运行（jconsole），选择“远程进程”，输入localhost:9999，即可查看Kafka的各项JMX指标（如kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec表示每秒消息摄入量）。

5. 自定义监控脚本（灵活定制）

通过编写脚本（Shell/Python）调用Kafka API获取指标，实现个性化监控（如特定Topic的Lag阈值告警）。

示例Shell脚本：获取指定Topic的Lag值，若超过阈值则发送邮件告警。

#!/bin/bash
TOPIC="your_topic"
GROUP="your_consumer_group"
LAG=$(kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group $GROUP | grep $TOPIC | awk '{print $5}')
THRESHOLD=1000
if [ "$LAG" -gt "$THRESHOLD" ]; then
  echo "Lag for topic $TOPIC is $LAG, exceeding threshold $THRESHOLD" | mail -s "Kafka Lag Alert" admin@example.com
fi

定时执行：通过crontab -e添加定时任务（如每5分钟执行一次）：
```
*/5 * * * * /path/to/your_script.sh
```

以上方法覆盖了从基础到高级的Kafka集群监控需求，可根据实际场景选择合适的工具组合（如生产环境推荐使用Kafka Exporter+Prometheus+Grafana，小型集群可使用Kafka Manager或Kafdrop）。