debian kafka如何测试性能

在 Debian 上测试 Kafka 性能，通常是从吞吐量（throughput）、延迟（latency）和稳定性几个维度来做。下面给你一套实用、可操作的方案，适合在 Debian 服务器上直接执行。

一、测试前准备（Debian 环境）

1. 安装基础工具

sudo apt update
sudo apt install -y openjdk-17-jdk wget screen htop iotop

2. 启动 Kafka（单机或集群）

# 启动 Zookeeper（老版本）或 KRaft（新版本）
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties

确认 Kafka 正常运行：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

二、Kafka 自带的性能测试工具（最常用）

Kafka 自带两个官方压测脚本，非常适合快速验证性能。

1. 生产者性能测试（Producer）

bin/kafka-producer-perf-test.sh \
  --topic test-perf \
  --num-records 1000000 \
  --record-size 1024 \
  --throughput -1 \
  --producer-props bootstrap.servers=localhost:9092 acks=1

参数说明：

• --num-records：发送消息总数
• --record-size：单条消息大小（字节）
• --throughput -1：不限速，测最大吞吐
• acks=1：常用生产配置

输出示例关注：

records/sec: 120000
MB/sec: 117.18

2. 消费者性能测试（Consumer）

bin/kafka-consumer-perf-test.sh \
  --topic test-perf \
  --bootstrap-server localhost:9092 \
  --messages 1000000 \
  --reporting-interval 1000

关注指标：

• MB/sec
• 消费延迟

三、不同场景的性能测试示例

场景 1：高吞吐（大消息）

--record-size 4096
--throughput -1

场景 2：低延迟（小消息）

--record-size 256
--throughput 50000

场景 3：强一致（不丢数据）

acks=all
min.insync.replicas=2

四、系统级性能监控（非常重要）

1. CPU / 内存

htop

2. 磁盘 IO（Kafka 关键）

iostat -x 1
iotop

关注：

• %util
• await
• 磁盘是否瓶颈（建议 SSD / NVMe）

3. 网络

iftop

五、使用 Prometheus + Grafana（生产推荐）

组件

• kafka-exporter
• Prometheus
• Grafana

可监控：

• 每秒消息数
• 请求延迟
• 分区均衡
• 磁盘使用

六、第三方压测工具（可选）

1. kafkameter（JMeter 插件）

适合业务级压测

2. Trogdor（Kafka 官方混沌测试）

bin/trogdor.sh

七、常见性能瓶颈（Debian 上）

八、简单结论判断标准

✅ 正常：

• 吞吐稳定
• 延迟低
• 磁盘 IO < 70%

❌ 异常：

• 吞吐波动大
• 消费滞后（lag 增长）
• CPU 或 IO 打满

如果你愿意，可以告诉我：

• Kafka 版本
• 单机和集群
• 测试目标（吞吐 / 延迟 / 稳定性）

我可以给你定制测试命令和参数。