Kafka在Debian如何配置

下面给你一个在 Debian 系统上配置 Apache Kafka 的完整流程，以 Kafka 3.x + Zookeeper 模式（最常见、稳定）为例。如果你用的是 KRaft 模式（无 Zookeeper），我也可以单独给你一份配置。

一、环境准备

1. 安装 Java（必需）

Kafka 依赖 Java（推荐 Java 8 或 11）

sudo apt update
sudo apt install -y openjdk-11-jdk

验证：

java -version

二、下载并安装 Kafka

1. 下载 Kafka

去官网复制最新链接（示例为 3.6.1）：

cd /opt
sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -xzf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka

三、配置 Zookeeper（Kafka 依赖）

1. Zookeeper 配置文件

sudo nano /opt/kafka/config/zookeeper.properties

常用配置：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0
admin.enableServer=false

创建数据目录：

sudo mkdir -p /var/lib/zookeeper

四、配置 Kafka

1. Kafka 配置文件

sudo nano /opt/kafka/config/server.properties

关键配置说明（按需修改）：

broker.id=0
listeners=PLAINTEXT://localhost:9092
log.dirs=/var/lib/kafka-logs
zookeeper.connect=localhost:2181
num.partitions=1
offsets.topic.replication.factor=1

生产环境建议：

log.dirs 使用独立磁盘
listeners 改为服务器 IP（非 localhost）

创建日志目录：

sudo mkdir -p /var/lib/kafka-logs

五、启动 Kafka 和 Zookeeper

1. 启动 Zookeeper

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

后台运行：

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. 启动 Kafka

bin/kafka-server-start.sh config/server.properties

后台运行：

bin/kafka-server-start.sh -daemon config/server.properties

六、验证 Kafka 是否正常运行

1. 创建 Topic

bin/kafka-topics.sh --create \
  --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

2. 查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 发送消息

bin/kafka-console-producer.sh \
  --topic test \
  --bootstrap-server localhost:9092

4. 消费消息

bin/kafka-console-consumer.sh \
  --topic test \
  --from-beginning \
  --bootstrap-server localhost:9092

七、配置为 systemd 服务（推荐）

1. Zookeeper service

sudo nano /etc/systemd/system/zookeeper.service

[Unit]
Description=Zookeeper Service
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka service

sudo nano /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启用并启动

sudo systemctl daemon-reload
sudo systemctl enable zookeeper
sudo systemctl enable kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

八、常见问题

1. Kafka 启动失败

查看日志：

journalctl -u kafka -f

2. 端口被占用

sudo netstat -tulnp | grep 9092

九、下一步建议

生产环境：
- 多 broker
- 调整 replication.factor
- 开启认证（SASL / SSL）
新版本推荐：
- KRaft 模式（无 Zookeeper）

如果你愿意，可以告诉我：

✅ Debian 版本（10 / 11 / 12）
✅ 单机还是集群
✅ 是否需要 KRaft 模式

我可以给你完全贴合你环境的配置方案。