debian kafka监控怎么开

在 Debian 上“开启 Kafka 监控”通常包含 Kafka 自带指标暴露 + 监控系统的采集展示 两部分。下面按常用方案给你一个清晰可落地的步骤。

一、Kafka 自身监控前提（必须做）

Kafka 通过 JMX 暴露监控指标，先确保 JMX 已开启。

1. 修改 Kafka 启动配置

编辑 Kafka 的启动脚本（取决于安装方式）：

如果是官方 tar 包

vi bin/kafka-server-start.sh

在文件顶部或 KAFKA_HEAP_OPTS 后添加：

export JMX_PORT=9999

示例：

export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"
export JMX_PORT=9999

如果是 systemd（Debian 常见）

编辑：

sudo systemctl edit kafka

添加：

[Service]
Environment="JMX_PORT=9999"

然后：

sudo systemctl daemon-reload
sudo systemctl restart kafka

2. 验证 JMX 是否开启

netstat -tnlp | grep 9999

或

ss -tnlp | grep 9999

二、常用 Kafka 监控方案（选一个）

✅ 方案 1：Kafka + Prometheus + Grafana（最推荐）

1. 安装 kafka-exporter（Debian）

wget https://github.com/danielqsj/kafka-exporter/releases/download/v1.7.0/kafka-exporter-1.7.0.linux-amd64.tar.gz
tar -xzf kafka-exporter-*.tar.gz
cd kafka-exporter-*

启动：

./kafka-exporter --kafka.server=localhost:9092

默认端口：9308

验证：

curl localhost:9308/metrics

2. Prometheus 配置

scrape_configs:
  - job_name: kafka
    static_configs:
      - targets: ['localhost:9308']

3. Grafana

导入官方 Dashboard：ID 7589
数据源选择 Prometheus

✅ 方案 2：JMX Exporter（更底层）

适合想监控 JVM + Kafka 内部指标。

1. 下载 jmx_exporter

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.20.0/jmx_prometheus_javaagent-0.20.0.jar

2. 创建配置

# kafka-jmx.yml
lowercaseOutputName: true

3. Kafka 启动参数

export KAFKA_OPTS="-javaagent:/path/jmx_prometheus_javaagent.jar=7071:/path/kafka-jmx.yml"

✅ 方案 3：Kafka Manager / CMAK（管理+监控）

适合看 topic、consumer、lag

git clone https://github.com/yahoo/CMAK.git

适合不想搞 Prometheus 的场景。

三、基础命令行监控（不用装东西）

# 消费者延迟
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

# topic 情况
kafka-topics.sh --bootstrap-server localhost:9092 --describe

四、Debian 常见坑

✅ 防火墙

sudo ufw allow 9092
sudo ufw allow 9308

✅ 主机名解析

hostname -i

Kafka listeners 不要用 localhost 给远程访问

五、推荐组合（新手直接照做）

Kafka + kafka-exporter + Prometheus + Grafana

如果你愿意，我可以：

给你一份 Debian 完整一键脚本
或按你 Kafka 版本 / 安装方式 精确配置

你现在是 apt 安装 / tar 包 / docker 哪种？