debian部署kafka如何配置

下面以 Debian 11/12 为例，系统性地说明 Kafka 的部署与配置（以官方二进制包方式，最常用、最灵活）。

一、环境准备

1. 安装 JDK

Kafka 依赖 Java（推荐 JDK 8 / 11 / 17）

sudo apt update
sudo apt install -y openjdk-17-jdk
java -version

2. 创建专用用户（推荐）

sudo useradd -m -s /bin/bash kafka
sudo passwd kafka

二、下载并安装 Kafka

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 kafka
sudo chown -R kafka:kafka /opt/kafka

Kafka 3.x 已内置 Zookeeper（也可使用 KRaft 模式，后面说明）

三、基础配置（单节点）

1. Kafka 配置文件

路径：

/opt/kafka/config/server.properties

常用关键配置：

# broker 唯一 ID
broker.id=0

# 监听地址（非常关键）
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://your-server-ip:9092

# 日志存储目录
log.dirs=/var/lib/kafka-logs

# Zookeeper 地址
zookeeper.connect=localhost:2181

# 单台 broker 可删 topic
delete.topic.enable=true

创建日志目录：

sudo mkdir -p /var/lib/kafka-logs
sudo chown -R kafka:kafka /var/lib/kafka-logs

四、启动 Kafka（Zookeeper 模式）

1. 启动 Zookeeper

sudo -u kafka /opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

2. 启动 Kafka

sudo -u kafka /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

3. 验证

/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

五、Systemd 服务（推荐生产使用）

1. Zookeeper 服务

sudo vim /etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper
After=network.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka 服务

sudo vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=network.target zookeeper.service
Requires=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

六、KRaft 模式（无 Zookeeper，Kafka 3.x 推荐）

1. 生成 Cluster ID

/opt/kafka/bin/kafka-storage.sh random-uuid

2. 修改配置

/opt/kafka/config/kraft/server.properties

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://localhost:9093
advertised.listeners=PLAINTEXT://your-ip:9092
log.dirs=/var/lib/kafka-logs

3. 初始化

/opt/kafka/bin/kafka-storage.sh format -t <cluster-id> -c /opt/kafka/config/kraft/server.properties

4. 启动

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/kraft/server.properties

七、防火墙

sudo ufw allow 9092

八、常见问题

1. 外网无法连接

✅ 必须配置：

advertised.listeners=PLAINTEXT://公网IP:9092

2. 消息丢失

acks=all
min.insync.replicas=2

3. 单节点测试

kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning

如果你需要：

• 集群部署（3 broker）
• SASL / SSL 安全配置
• Docker / Kubernetes 部署
• Debian + Kafka + Logstash / Flink

可以直接告诉我你的使用场景。