ubuntu kafka配置怎样监控

在 Ubuntu 上监控 Kafka，可以从系统层、Kafka 自身指标、日志、以及可视化工具几个层面来做。下面给你一套比较实用、常见的方案。

一、Kafka 自带监控方式（最基础）

1. Kafka 自带命令行工具

适用于快速查看状态，不持久化。

# 查看 topic 列表
kafka-topics.sh --bootstrap-server localhost:9092 --list

# 查看 consumer group 状态
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group your-group

# 查看 broker 信息
kafka-broker-api-versions.sh --bootstrap-server localhost:9092

二、开启 Kafka JMX（最重要）

Kafka 的监控指标主要通过 JMX 暴露。

1. 修改 Kafka 启动配置

编辑：

/etc/kafka/server.properties

或启动脚本（如 kafka-server-start.sh）：

export JMX_PORT=9999

重启 Kafka：

sudo systemctl restart kafka

验证：

ss -lntp | grep 9999

三、使用 Prometheus + Grafana（推荐）

1. 安装 Kafka Exporter

wget https://github.com/danielqsj/kafka-exporter/releases/download/v1.7.0/kafka-exporter-1.7.0.linux-amd64.tar.gz
tar -xzf kafka-exporter-*.tar.gz
./kafka-exporter --kafka.server=localhost:9092

默认端口：9308

2. Prometheus 配置

scrape_configs:
  - job_name: 'kafka'
    static_configs:
      - targets: ['localhost:9308']

3. Grafana

导入 Kafka Dashboard（ID：7589 或 10973）
监控指标包括：
- 消息吞吐
- 分区 Leader / ISR
- 消费 lag
- broker 存活状态

四、Kafka 自身日志监控

日志路径（常见）

/var/log/kafka/

重点看：

server.log
state-change.log
controller.log

实时查看

tail -f /var/log/kafka/server.log

错误关键字

ERROR
Shutdown
UnderReplicated
OffsetOutOfRange

五、系统层监控（Ubuntu）

1. CPU / 内存 / 磁盘

top
htop
df -h
iostat -x 1

2. Kafka 进程

ps aux | grep kafka

3. 磁盘 IO（Kafka 很依赖磁盘）

iotop

六、高级方案（可选）

Confluent Control Center（商业）
CMAK (Kafka Manager)
Kafka Eagle
ELK + Kafka 日志采集

七、推荐最小监控组合（实用）

✅ JMX + Kafka Exporter
✅ Prometheus + Grafana
✅ 日志 tail + 告警
✅ consumer lag 监控

如果你愿意，我可以：

给你一套 Ubuntu + Docker Kafka 监控方案
或按 单机 / 集群 给你详细配置
或直接帮你写 systemd + exporter 服务文件

你现在是单机还是集群？