Kafka在Ubuntu上的监控怎么做

在Ubuntu上监控Kafka可采用以下方式：

1. 命令行工具（基础监控）

• 查看Broker/Topic状态：

  # 查看所有Topic  
  kafka-topics.sh --list --bootstrap-server localhost:9092  
  # 查看Topic详情  
  kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic <topic_name>  
  

• 消费者组监控：

  # 列出消费者组  
  kafka-consumer-groups.sh --list --bootstrap-server localhost:9092  
  # 查看消费滞后（Lag）  
  kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group <group_id>  
  

• JMX监控：
  启动Kafka时添加JMX参数（如-Dcom.sun.management.jmxremote.port=9999），再用jconsole或VisualVM连接端口查看指标。

2. 第三方工具（推荐）

• Prometheus + Grafana（可视化）：
  • 部署kafka-exporter（通过Docker Compose），暴露Kafka指标给Prometheus。
  • 在Grafana中导入Kafka监控看板，展示吞吐量、延迟、积压等指标。
• Kafka Manager：
  开源工具，支持集群状态、Topic/分区管理及消费者监控，需配置ZooKeeper地址。
• Kafka Eagle：
  提供实时监控、告警功能，支持多维度指标（如Broker、Topic、消费者状态）。

3. 系统资源监控

• 使用top/htop监控CPU/内存占用，iostat监控磁盘I/O，netstat监控网络连接。
• 检查Kafka日志（默认路径/var/log/kafka），排查异常信息。

4. 高级方案

• Confluent Control Center：商业版工具，支持全链路监控、性能优化及故障诊断。
• 自定义脚本：通过Shell/Python定期抓取关键指标（如Lag、吞吐量），发送邮件/短信告警。

注：优先选择Prometheus+Grafana组合，兼顾实时性与可视化；小型集群可先用Kafka自带工具或Kafka Manager。
参考来源：