温馨提示×

怎样测debian kafka配置

小樊
51
2026-09-22 02:17:17
栏目: 智能运维

在 Debian 上“测 Kafka 配置”通常分几个层次:
1)配置是否正确(语法、参数是否有效)
2)Kafka 是否能正常启动
3)基本功能是否可用(生产/消费消息)
4)性能/压力测试(可选)

下面按最常用方式一步步说明(以 Debian 11/12 + Kafka 3.x 为例,假设用官方二进制包,不是 apt 安装的旧版本)。


一、检查配置文件本身

Kafka 主要配置文件:

  • $KAFKA_HOME/config/server.properties
  • zookeeper.properties(如果用 ZK)
  • producer.properties / consumer.properties

1. 看语法和关键参数

cat config/server.properties | grep -v '^#' | grep -v '^$'

重点检查:

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

常见错误:

  • listeners 和 advertised.listeners 不一致
  • log.dirs 目录不存在或无权限
  • broker.id 重复

二、启动并验证 Kafka 是否正常工作

1. 启动 ZooKeeper(如未用 KRaft)

bin/zookeeper-server-start.sh config/zookeeper.properties

2. 启动 Kafka

bin/kafka-server-start.sh config/server.properties

✅ 启动成功标志(日志中):

[KafkaServer] started (kafka.server.KafkaServer)

三、用命令行“测配置是否可用”

1. 创建 Topic(测 broker 配置)

bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 \
  --create --topic test \
  --partitions 1 --replication-factor 1

2. 查看 Topic(测元数据/ZK 配置)

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

四、生产 / 消费消息(核心功能测试)

1. 生产者测试

bin/kafka-console-producer.sh \
  --bootstrap-server localhost:9092 \
  --topic test

输入:

hello kafka

2. 消费者测试(另开终端)

bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic test --from-beginning

✅ 能看到 hello kafka 说明配置基本正确。


五、自动验证配置参数是否生效

查看 broker 实际配置

bin/kafka-configs.sh \
  --bootstrap-server localhost:9092 \
  --entity-type brokers --entity-defaults --describe

查看某个 topic 配置

bin/kafka-configs.sh \
  --bootstrap-server localhost:9092 \
  --entity-type topics --entity-name test --describe

六、性能 / 压力测试(可选)

生产者压测

bin/kafka-producer-perf-test.sh \
  --topic test \
  --num-records 100000 \
  --record-size 1024 \
  --throughput -1 \
  --producer-props bootstrap.servers=localhost:9092

消费者压测

bin/kafka-consumer-perf-test.sh \
  --bootstrap-server localhost:9092 \
  --topic test --messages 100000

七、Debian 特有注意点

  1. Java 环境
java -version

Kafka 3.x 需要 Java 8 / 11 / 17

  1. 防火墙
sudo ufw allow 9092
  1. systemd(推荐) 可写 /etc/systemd/system/kafka.service 做开机自启和日志管理。

如果你愿意,可以告诉我:

  • 你用的是 ZooKeeper 还是 KRaft
  • Kafka 是 apt 安装还是官方包
  • 想测的是 单机 / 集群 / 安全配置(SSL/SASL)

我可以直接给你一套针对性的测试命令。

0 踩