下面给你一个在 Linux 下使用 Kafka 的完整入门指南,从安装到常用操作,偏实战,适合新手快速上手。
Kafka 依赖 Java 8 及以上。
java -version
如果没有安装:
sudo apt update
sudo apt install openjdk-11-jdk
cd /opt
sudo wget https://archive.apache.org/dist/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -zxvf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka
cd kafka
Kafka 3.x 仍兼容 Zookeeper(新版本已逐步去 ZK)
bin/zookeeper-server-start.sh config/zookeeper.properties
✅ 另开一个终端继续操作
bin/kafka-server-start.sh config/server.properties
看到:
started (kafka.server.KafkaServer)
说明启动成功。
| 概念 | 说明 |
|---|---|
| Broker | Kafka 服务实例 |
| Topic | 消息主题 |
| Producer | 生产者 |
| Consumer | 消费者 |
| Partition | 分区(并行、扩容) |
| Offset | 消息偏移量 |
bin/kafka-topics.sh \
--create \
--topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092
bin/kafka-console-producer.sh \
--topic test-topic \
--bootstrap-server localhost:9092
输入:
hello kafka
this is a test
bin/kafka-console-consumer.sh \
--topic test-topic \
--from-beginning \
--bootstrap-server localhost:9092
✅ 会看到之前发送的消息
bin/kafka-console-consumer.sh \
--topic test-topic \
--group test-group \
--bootstrap-server localhost:9092
bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--list
bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--group test-group \
--describe
bin/kafka-topics.sh \
--delete \
--topic test-topic \
--bootstrap-server localhost:9092
需要
delete.topic.enable=true(默认已开启)
broker.id=0
log.dirs=/tmp/kafka-logs
listeners=PLAINTEXT://localhost:9092
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<>("test-topic", "hello"));
producer.close();
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(List.of("test-topic"));
while (true) {
consumer.poll(Duration.ofMillis(100)).forEach(r -> System.out.println(r.value()));
}
netstat -tunlp | grep 9092
✅ 先掌握:
✅ 再深入:
如果你愿意,我可以:
你现在是想 入门学习 还是 生产环境使用?