Debian Kafka怎么配置

下面以 Debian 系统 为例，给你一份 Kafka 基础配置与启动流程，适合单机或简单集群使用。

一、环境准备（Debian）

1. 安装 Java（Kafka 依赖）

Kafka 需要 Java 8 及以上（推荐 Java 11 / 17）。

sudo apt update
sudo apt install openjdk-17-jdk -y

验证：

java -version

二、下载并安装 Kafka

1. 下载 Kafka（以 3.6.1 为例）

cd /opt
sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -xzf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka

三、Kafka 目录结构说明

/opt/kafka
├── config        # 配置文件
│   ├── server.properties
│   ├── zookeeper.properties
├── bin           # 启动脚本

四、配置 Zookeeper（Kafka 依赖）

Kafka 3.x 仍然默认依赖 Zookeeper（除非你用 KRaft 模式）

1. Zookeeper 配置文件

sudo nano /opt/kafka/config/zookeeper.properties

示例配置：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0

创建数据目录：

sudo mkdir -p /var/lib/zookeeper

五、配置 Kafka Server

1. Kafka 配置文件

sudo nano /opt/kafka/config/server.properties

关键配置（单机示例）：

broker.id=0
listeners=PLAINTEXT://localhost:9092
log.dirs=/var/lib/kafka-logs
zookeeper.connect=localhost:2181
num.partitions=1
offsets.topic.replication.factor=1

如果是 多机集群，需要：

• 每台机器 broker.id 不同
• listeners 改为实际 IP
• zookeeper.connect 写所有 ZK 节点

创建日志目录：

sudo mkdir -p /var/lib/kafka-logs

六、启动 Kafka（顺序很重要）

1. 启动 Zookeeper

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

后台运行：

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. 启动 Kafka

bin/kafka-server-start.sh config/server.properties

后台运行：

bin/kafka-server-start.sh -daemon config/server.properties

七、验证 Kafka 是否运行

1. 查看进程

jps

应看到：

QuorumPeerMain
Kafka

2. 创建 Topic 测试

bin/kafka-topics.sh \
--create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

查看 Topic：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 发送 & 消费消息

生产者：

bin/kafka-console-producer.sh \
--topic test \
--bootstrap-server localhost:9092

消费者：

bin/kafka-console-consumer.sh \
--topic test \
--from-beginning \
--bootstrap-server localhost:9092

八、Debian 开机自启（systemd，推荐）

1. Zookeeper systemd

sudo nano /etc/systemd/system/zookeeper.service

[Unit]
Description=Zookeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka systemd

sudo nano /etc/systemd/system/kafka.service

[Unit]
Description=Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启用并启动

sudo systemctl daemon-reload
sudo systemctl enable zookeeper
sudo systemctl enable kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

九、常见问题

1. Kafka 起不来

检查：

/opt/kafka/logs/server.log

2. 端口被占用

ss -lntp | grep 9092

十、进阶（可选）

• ✅ KRaft 模式（无 Zookeeper）
• ✅ 多 broker 集群
• ✅ 权限 & SASL / SSL
• ✅ Debian + Docker Kafka

如果你告诉我：

• 是 单机还是集群
• 是否 生产环境
• 是否用 Docker

我可以给你更精确的配置方案。