温馨提示×

Linux中Kafka怎么使用

小樊
82
2026-08-17 03:19:10
栏目: 智能运维

下面给你一个在 Linux 下使用 Kafka 的完整入门指南,从安装到常用操作,偏实战,适合新手快速上手。


一、环境准备

1. 安装 Java(Kafka 依赖)

Kafka 依赖 Java 8 及以上。

java -version

如果没有安装:

sudo apt update
sudo apt install openjdk-11-jdk

二、安装 Kafka

1. 下载 Kafka(推荐 2.x 或 3.x 稳定版)

cd /opt
sudo wget https://archive.apache.org/dist/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -zxvf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka
cd kafka

三、启动 Kafka(单机版)

1. 启动 Zookeeper(Kafka 依赖)

Kafka 3.x 仍兼容 Zookeeper(新版本已逐步去 ZK)

bin/zookeeper-server-start.sh config/zookeeper.properties

✅ 另开一个终端继续操作


2. 启动 Kafka Broker

bin/kafka-server-start.sh config/server.properties

看到:

started (kafka.server.KafkaServer)

说明启动成功。


四、Kafka 基本概念(快速理解)

概念 说明
Broker Kafka 服务实例
Topic 消息主题
Producer 生产者
Consumer 消费者
Partition 分区(并行、扩容)
Offset 消息偏移量

五、Kafka 常用操作(命令行)

1. 创建 Topic

bin/kafka-topics.sh \
--create \
--topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

2. 查看 Topic 列表

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 查看 Topic 详情

bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

六、发送和消费消息

1. 生产者(发送消息)

bin/kafka-console-producer.sh \
--topic test-topic \
--bootstrap-server localhost:9092

输入:

hello kafka
this is a test

2. 消费者(接收消息)

bin/kafka-console-consumer.sh \
--topic test-topic \
--from-beginning \
--bootstrap-server localhost:9092

✅ 会看到之前发送的消息


七、消费者组(重点)

1. 启动消费者组

bin/kafka-console-consumer.sh \
--topic test-topic \
--group test-group \
--bootstrap-server localhost:9092

2. 查看消费者组

bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--list

3. 查看消费进度

bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--group test-group \
--describe

八、删除 Topic

bin/kafka-topics.sh \
--delete \
--topic test-topic \
--bootstrap-server localhost:9092

需要 delete.topic.enable=true(默认已开启)


九、Kafka 常用配置(简单说明)

server.properties 常见参数

broker.id=0
log.dirs=/tmp/kafka-logs
listeners=PLAINTEXT://localhost:9092

十、Java 示例(简单)

生产者

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<>("test-topic", "hello"));
producer.close();

消费者

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(List.of("test-topic"));
while (true) {
    consumer.poll(Duration.ofMillis(100)).forEach(r -> System.out.println(r.value()));
}

十一、常见问题

1. 端口无法访问

netstat -tunlp | grep 9092

2. Kafka 启动失败

  • Java 没装
  • 端口被占用
  • log.dirs 权限不足

十二、学习建议

✅ 先掌握:

  • Topic / Partition
  • Producer / Consumer
  • Consumer Group

✅ 再深入:

  • 消息可靠性
  • ISR / ACK
  • 数据清理策略
  • KRaft(无 Zookeeper)

如果你愿意,我可以:

  • ✅ 给你 Kafka 生产环境部署方案
  • ✅ 讲 Kafka 原理图
  • ✅ 用 Docker 方式运行 Kafka
  • ✅ 结合 Spring Boot / Python 使用

你现在是想 入门学习 还是 生产环境使用?

0 踩