温馨提示×

怎样在debian配置kafka

小樊
47
2026-08-31 23:02:07
栏目: 智能运维

下面给你一份在 Debian(12 / 11 / 10 均可)上从零配置 Kafka 的实用指南,涵盖 JDK、Kafka 安装、单节点配置、启动与基础测试。如果你需要集群(多 broker)Systemd 服务化,我也可以继续补。


一、环境准备

1. 更新系统

sudo apt update
sudo apt upgrade -y

2. 安装 Java(Kafka 依赖 JVM)

Kafka 3.x 推荐使用 JDK 17(或 JDK 11)

sudo apt install -y openjdk-17-jdk

验证:

java -version

二、下载并安装 Kafka

以 Kafka 3.7.0 为例(可自行替换版本)

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 kafka

三、配置 Kafka(单节点)

1. Zookeeper(Kafka 3.3+ 可不用,但默认仍支持)

编辑:

sudo nano /opt/kafka/config/zookeeper.properties

常用配置:

dataDir=/opt/kafka/zookeeper-data
clientPort=2181

创建目录:

sudo mkdir -p /opt/kafka/zookeeper-data

2. Kafka Broker 配置

sudo nano /opt/kafka/config/server.properties

关键配置(单机):

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://localhost:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=localhost:2181

创建日志目录:

sudo mkdir -p /opt/kafka/kafka-logs

四、启动 Kafka

1. 启动 Zookeeper

/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

2. 启动 Kafka

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

查看进程:

jps

应看到:

  • QuorumPeerMain
  • Kafka

五、基础测试

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --create \
  --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

2. 查看 Topic

/opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 生产消息

/opt/kafka/bin/kafka-console-producer.sh \
  --topic test \
  --bootstrap-server localhost:9092

4. 消费消息(另开终端)

/opt/kafka/bin/kafka-console-consumer.sh \
  --topic test \
  --from-beginning \
  --bootstrap-server localhost:9092

六、(可选)使用 KRaft 模式(无 Zookeeper)

Kafka 3.x 推荐方式:

/opt/kafka/bin/kafka-storage.sh random-uuid

生成配置:

/opt/kafka/bin/kafka-storage.sh format \
  -t <UUID> \
  -c /opt/kafka/config/kraft/server.properties

启动:

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/kraft/server.properties

七、常见问题

问题 原因
端口占用 9092 / 2181 被占用
无法连接 advertised.listeners 配置错误
权限问题 kafka 目录无写权限

八、下一步你可以做什么

  • 配置 Systemd 服务
  • 配置 多 broker 集群
  • 配置 ACL / SASL 安全
  • 配置 外网访问
  • Debian + Docker 结合

如果你告诉我: ✅ Debian 版本
✅ Kafka 版本
✅ 单节点 / 集群
✅ 是否用 Docker

我可以给你完全定制版配置

0