如何测试Ubuntu Kafka配置是否成功

如何测试Ubuntu Kafka配置是否成功

测试Ubuntu环境下Kafka配置的成功性，需通过服务启动验证、Topic操作测试、生产者-消费者消息收发三个核心步骤，确保Kafka与Zookeeper协同工作正常，消息传输链路畅通。

1. 验证Kafka与Zookeeper服务是否正常启动

Kafka依赖Zookeeper管理集群元数据，需先确认两者均已启动并监听正确端口。

• 检查Zookeeper状态：执行sudo netstat -tulnp | grep 2181（若Zookeeper配置文件中clientPort为2181），若输出包含LISTEN状态，说明Zookeeper已启动。
• 检查Kafka状态：执行sudo netstat -tulnp | grep 9092（若Kafka配置文件中listeners为PLAINTEXT://:9092），若输出包含LISTEN状态，说明Kafka已启动。

2. 创建测试Topic并验证其存在

通过Kafka命令创建一个测试用的Topic，确认Kafka能正确处理元数据操作。

• 创建Topic：执行sudo /usr/local/kafka/bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1（根据实际路径调整kafka-topics.sh位置）。
• 列出Topic：执行sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092，若输出包含test-topic，说明Topic创建成功。

3. 启动生产者发送消息并验证消费者接收

通过生产者发送测试消息，消费者接收消息，确认Kafka消息传输链路正常。

• 启动生产者：打开终端1，执行sudo /usr/local/kafka/bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092，进入生产者模式。
• 发送测试消息：在生产者终端输入任意文本（如Hello, Ubuntu Kafka Config Test），并按回车键发送。
• 启动消费者：打开终端2，执行sudo /usr/local/kafka/bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092，进入消费者模式。
• 验证消息接收：消费者终端应实时显示生产者发送的测试消息，说明Kafka配置成功，消息传输正常。

4. 可选：性能测试（验证高负载下的稳定性）

若需进一步验证Kafka在高负载下的性能，可使用Kafka自带的性能测试工具。

• 生产者性能测试：执行sudo /usr/local/kafka/bin/kafka-producer-perf-test.sh --num-records 50000000 --topic perfTest --record-size 1000 --throughput -1 --producer-props bootstrap.servers=localhost:9092 acks=1（发送5000万条1KB消息，无吞吐量限制）。
• 消费者性能测试：执行sudo /usr/local/kafka/bin/kafka-consumer-perf-test.sh --bootstrap-server localhost:9092 --group perfTestGroup --topic perfTest --messages 1000000 --fetch-size 1024（消费100万条消息）。
• 结果分析：观察命令输出的Throughput（吞吐量）、Latency（延迟）等指标，若无明显异常（如吞吐量稳定、延迟低），说明Kafka配置能满足高负载需求。

通过以上步骤，可全面验证Ubuntu环境下Kafka配置的正确性，确保服务启动、Topic管理、消息传输等核心功能均正常工作。