debian怎么部署kafka集群

下面给你一个**在 Debian 系统上部署 Kafka 集群（以 3 节点为例）**的实战步骤，基于 Kafka 3.x + Kafka 自带的 ZooKeeper（也可后续替换为 KRaft）。

一、环境准备

1. 服务器规划

假设 3 台 Debian 机器：

主机名	IP
kafka1	192.168.1.11
kafka2	192.168.1.12
kafka3	192.168.1.13

Kafka 依赖 Java，ZooKeeper 也依赖 Java

2. 安装 Java

sudo apt update
sudo apt install -y openjdk-17-jdk

验证：

java -version

3. 创建系统用户（推荐）

sudo useradd -m -s /bin/bash kafka

二、下载并安装 Kafka

在 每台机器 执行：

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
sudo tar -xzf kafka_2.13-3.7.1.tgz
sudo mv kafka_2.13-3.7.1 kafka
sudo chown -R kafka:kafka /opt/kafka

三、配置 ZooKeeper（集群）

1. 编辑 ZooKeeper 配置

sudo vim /opt/kafka/config/zookeeper.properties

示例（每台机器相同）：

dataDir=/opt/kafka/zookeeper-data
clientPort=2181
maxClientCnxns=0

server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888

2. 创建 myid 文件（重要）

kafka1

echo 1 | sudo tee /opt/kafka/zookeeper-data/myid

kafka2

echo 2 | sudo tee /opt/kafka/zookeeper-data/myid

kafka3

echo 3 | sudo tee /opt/kafka/zookeeper-data/myid

四、配置 Kafka（集群）

编辑：

sudo vim /opt/kafka/config/server.properties

kafka1

broker.id=1
listeners=PLAINTEXT://192.168.1.11:9092
advertised.listeners=PLAINTEXT://192.168.1.11:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181
log.dirs=/opt/kafka/kafka-logs
num.partitions=3
default.replication.factor=3
min.insync.replicas=2

kafka2

broker.id=2
listeners=PLAINTEXT://192.168.1.12:9092
advertised.listeners=PLAINTEXT://192.168.1.12:9092

kafka3

broker.id=3
listeners=PLAINTEXT://192.168.1.13:9092
advertised.listeners=PLAINTEXT://192.168.1.13:9092

五、启动服务

1. 启动 ZooKeeper

sudo -u kafka /opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

2. 启动 Kafka

sudo -u kafka /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

六、验证集群

1. 查看 broker

/opt/kafka/bin/zookeeper-shell.sh 192.168.1.11:2181
ls /brokers/ids

应看到：

[1, 2, 3]

2. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
--create --topic test \
--partitions 3 --replication-factor 3 \
--bootstrap-server 192.168.1.11:9092

3. 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
--describe --topic test \
--bootstrap-server 192.168.1.11:9092

七、（可选）配置 systemd 服务

示例 /etc/systemd/system/kafka.service：

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

八、常见问题

端口不通：检查防火墙

sudo ufw allow 2181
sudo ufw allow 9092

broker 不显示：检查 advertised.listeners
ZooKeeper 起不来：检查 myid 和 server.x

如果你愿意，我也可以：

给你 KRaft 模式（无 ZooKeeper）部署
给你 Docker / docker-compose 部署
或针对 生产环境参数优化

你想用哪种方式？