温馨提示×

kafka监控debian怎么弄

小樊
40
2026-09-28 02:19:39
栏目: 智能运维

在 Debian 上监控 Kafka,通常可以从 Kafka 自带指标 + 可视化监控工具 两条路走。下面给你一套实用方案,从简单到完整。


一、最基础:Kafka 自带 JMX 指标

Kafka 本身通过 JMX 暴露大量监控指标。

1. 开启 Kafka JMX

编辑 Kafka 启动脚本(如 bin/kafka-server-start.sh 或 systemd 配置):

export JMX_PORT=9999

或用 systemd(/etc/systemd/system/kafka.service):

[Service]
Environment="JMX_PORT=9999"

重启 Kafka:

sudo systemctl restart kafka

验证:

ss -lntp | grep 9999

二、命令行快速查看(无界面)

1. 使用 Kafka 自带脚本

bin/kafka-topics.sh --describe --bootstrap-server localhost:9092
bin/kafka-consumer-groups.sh --describe --group my-group --bootstrap-server localhost:9092

2. 使用 JMX 工具

sudo apt install jmxterm
java -jar jmxterm.jar
> open localhost:9999
> beans

三、推荐方案:Kafka + Prometheus + Grafana(最常用)

1. 安装 Kafka Exporter(Debian)

sudo apt install -y wget
wget https://github.com/danielqsj/kafka-exporter/releases/download/v1.7.0/kafka-exporter-1.7.0.linux-amd64.tar.gz
tar -xzf kafka-exporter-*.tar.gz
sudo mv kafka-exporter /usr/local/bin/

启动:

kafka-exporter --kafka.server=localhost:9092

默认端口:9308


2. 安装 Prometheus

sudo apt install -y prometheus

编辑 /etc/prometheus/prometheus.yml:

scrape_configs:
  - job_name: kafka
    static_configs:
      - targets: ['localhost:9308']

重启:

sudo systemctl restart prometheus

访问:

http://<IP>:9090

3. 安装 Grafana

sudo apt install -y grafana
sudo systemctl enable --now grafana-server

访问:

http://<IP>:3000

导入 Kafka 仪表盘(ID):

  • 7589(Kafka Exporter)
  • 10973

四、一体化监控方案(更简单)

方案 A:Kafka UI(轻量)

docker run -d -p 8080:8080 \
  -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:9092 \
  provectuslabs/kafka-ui

浏览器访问:

http://<IP>:8080

方案 B:CMAK(原 Kafka Manager)

适合多集群管理,但不如 Grafana 直观。


五、常见监控指标(重点关注)

  • UnderReplicatedPartitions(副本不同步)
  • OfflinePartitionsCount(离线分区)
  • MessagesInPerSec(吞吐)
  • Consumer Lag(消费滞后)
  • Request Latency(请求延迟)
  • JVM Memory / GC

六、总结推荐

场景 推荐
快速看状态 kafka-consumer-groups
单机学习 Kafka UI
生产环境 Prometheus + Grafana
多集群 CMAK

如果你愿意,我可以:

  • 给你 完整 Debian 一键安装脚本
  • 或按 Docker / 非 Docker 分开讲
  • 或专门针对 ZooKeeper / KRaft 模式

你现在是 学习用还是生产环境?

0 踩