温馨提示×

怎样测试debian kafka配置

小樊
36
2026-10-01 00:51:01
栏目: 智能运维

在 Debian 上测试 Kafka 配置,通常分为基础连通性测试、命令行生产/消费测试、配置文件校验和进阶压测。下面按步骤说明,假设你已经在 Debian 上安装并启动了 Kafka(通常由 Zookeeper + Kafka Broker 组成)。


一、确认 Kafka 和 Zookeeper 已启动

# 查看服务状态(如果用 systemd)
systemctl status kafka
systemctl status zookeeper

# 或看进程
ps aux | grep kafka
ps aux | grep zookeeper

确认端口在监听(默认):

# Zookeeper
netstat -tlnp | grep 2181

# Kafka
netstat -tlnp | grep 9092

二、测试 Kafka 配置文件是否正确

1. 检查 server.properties 关键配置

常见测试相关配置:

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://你的IP:9092
zookeeper.connect=localhost:2181
log.dirs=/var/lib/kafka/logs

⚠️ 如果 advertised.listeners 配错,远程无法连接。

修改后重启:

systemctl restart kafka

三、使用 Kafka 自带脚本测试(最常用)

Kafka 自带测试工具在:

cd /opt/kafka/bin   # 或 /usr/share/kafka/bin

1. 创建测试 Topic

./kafka-topics.sh \
  --create \
  --bootstrap-server localhost:9092 \
  --replication-factor 1 \
  --partitions 1 \
  --topic test-topic

查看是否创建成功:

./kafka-topics.sh --list --bootstrap-server localhost:9092

2. 生产者测试(发送消息)

./kafka-console-producer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic

输入任意内容,例如:

hello kafka
debian test

3. 消费者测试(接收消息)

另开一个终端:

./kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --from-beginning

✅ 如果能看到刚才发送的消息,说明配置基本正确。


四、从远程机器测试(验证 advertised.listeners)

在另一台机器:

./kafka-console-producer.sh \
  --bootstrap-server Debian_IP:9092 \
  --topic test-topic

如果失败,通常是:

  • 防火墙未放行 9092
  • advertised.listeners 配置错误

Debian 防火墙示例:

ufw allow 9092

五、Kafka 自带压测工具(性能测试)

生产者压测

./kafka-producer-perf-test.sh \
  --topic test-topic \
  --num-records 100000 \
  --record-size 1024 \
  --throughput 2000 \
  --producer-props bootstrap.servers=localhost:9092

消费者压测

./kafka-consumer-perf-test.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --messages 100000

六、常见问题排查

1. 连接被拒绝

  • Kafka 没启动
  • listeners / advertised.listeners 错误

2. Topic 创建失败

kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

3. 日志位置

tail -f /var/log/kafka/server.log

七、最小测试 checklist ✅

  • [ ] Zookeeper 正常运行
  • [ ] Kafka 正常监听 9092
  • [ ] Topic 可创建
  • [ ] 生产消息成功
  • [ ] 消费消息成功
  • [ ] 远程可连接(如需要)

如果你愿意,可以告诉我:

  • Kafka 版本
  • 是否用 Docker / systemd
  • 单机还是集群

我可以给你针对你环境的精确测试命令。

0 踩