温馨提示×

linux kafka怎样测试

小樊
47
2026-09-20 15:22:22
栏目: 智能运维

在 Linux 上测试 Kafka,通常分为环境准备、启动服务、基本功能测试、生产消费验证、常用排查命令几个步骤。下面给你一套最常用、最实用的测试方式(以 Kafka 3.x 为例,自带 Zookeeper 或 KRaft 均可参考)。


一、前提准备

1. 安装 Kafka

wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
cd kafka_2.13-3.6.1

2. Java 环境

java -version

需要 JDK 8 或以上


二、启动 Kafka(测试最常用方式)

方式一:使用 Zookeeper(传统方式)

# 启动 Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

# 另一个终端启动 Kafka
bin/kafka-server-start.sh config/server.properties

方式二:KRaft 模式(新版推荐)

# 生成集群 ID
KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)

# 格式化
bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties

# 启动
bin/kafka-server-start.sh config/kraft/server.properties

三、最基础的 Kafka 测试(生产/消费)

1. 创建 Topic

bin/kafka-topics.sh \
  --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

查看 Topic:

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

2. 生产者测试(发送消息)

bin/kafka-console-producer.sh \
  --topic test-topic \
  --bootstrap-server localhost:9092

输入任意内容:

hello kafka
test message

3. 消费者测试(接收消息)

bin/kafka-console-consumer.sh \
  --topic test-topic \
  --from-beginning \
  --bootstrap-server localhost:9092

✅ 能看到消息说明 Kafka 正常工作


四、快速验证 Kafka 是否正常

查看 broker 状态

bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

查看 Topic 详情

bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

查看消费组

bin/kafka-consumer-groups.sh --list --bootstrap-server localhost:9092

五、性能测试(压测)

生产压测

bin/kafka-producer-perf-test.sh \
  --topic test-topic \
  --num-records 100000 \
  --record-size 1024 \
  --throughput -1 \
  --producer-props bootstrap.servers=localhost:9092

消费压测

bin/kafka-consumer-perf-test.sh \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --messages 100000

六、常见问题排查

1. 连接失败

telnet localhost 9092

或

netstat -an | grep 9092

2. 查看 Kafka 日志

tail -f logs/server.log

3. 常见错误

  • Connection refused → Kafka 没启动
  • UnknownTopicOrPartition → Topic 没创建
  • Group coordinator not available → 消费组问题

七、最简测试流程(总结)

# 启动
zookeeper-server-start.sh config/zookeeper.properties
kafka-server-start.sh config/server.properties

# 测试
kafka-topics.sh --create --topic test --bootstrap-server localhost:9092
kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

如果你告诉我:

  • ✅ Kafka 版本
  • ✅ 单机还是集群
  • ✅ 用 Zookeeper 还是 KRaft
  • ✅ 是开发测试还是生产环境

我可以给你更精确、可复制的测试脚本。

0 踩