debian kafka怎样集群部署

下面给你一份在 Debian 上部署 Kafka 集群的实用指南，适合生产/测试环境，步骤清晰、可直接照做。

一、环境准备

1. 机器规划（示例）

假设 3 台 Debian 服务器：

主机名	IP
kafka1	192.168.1.11
kafka2	192.168.1.12
kafka3	192.168.1.13

Kafka 依赖 Zookeeper（或 KRaft，下面以 Zookeeper 为例，最稳定）

2. 基础环境

每台机器执行：

sudo apt update
sudo apt install -y openjdk-11-jdk wget tar
java -version

二、部署 Zookeeper 集群（3 台）

1. 下载 Zookeeper

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
tar -xzf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.4-bin zookeeper

2. 配置 zoo.cfg

cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg

编辑 zoo.cfg：

dataDir=/opt/zookeeper/data
clientPort=2181

server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888

3. 创建 myid

mkdir -p /opt/zookeeper/data
# kafka1
echo 1 > /opt/zookeeper/data/myid
# kafka2
echo 2 > /opt/zookeeper/data/myid
# kafka3
echo 3 > /opt/zookeeper/data/myid

4. 启动 Zookeeper

/opt/zookeeper/bin/zkServer.sh start

三、部署 Kafka 集群

1. 下载 Kafka

cd /opt
wget https://archive.apache.org/dist/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
mv kafka_2.13-3.6.1 kafka

2. 配置 server.properties

编辑 /opt/kafka/config/server.properties

kafka1

broker.id=1
listeners=PLAINTEXT://192.168.1.11:9092
advertised.listeners=PLAINTEXT://192.168.1.11:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181
log.dirs=/opt/kafka/logs
num.partitions=3
default.replication.factor=3
min.insync.replicas=2

kafka2

broker.id=2
listeners=PLAINTEXT://192.168.1.12:9092
advertised.listeners=PLAINTEXT://192.168.1.12:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

kafka3

broker.id=3
listeners=PLAINTEXT://192.168.1.13:9092
advertised.listeners=PLAINTEXT://192.168.1.13:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

⚠️ 每台 broker.id 和 IP 必须不同

3. 启动 Kafka

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

四、验证集群

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
--create \
--topic test \
--partitions 3 \
--replication-factor 3 \
--bootstrap-server 192.168.1.11:9092

2. 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
--describe \
--topic test \
--bootstrap-server 192.168.1.11:9092

3. 生产/消费测试

# 生产
kafka-console-producer.sh --topic test --bootstrap-server 192.168.1.11:9092

# 消费（另一台）
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server 192.168.1.12:9092

五、系统服务（推荐）

可写成 systemd 服务，避免手动启动。

示例 /etc/systemd/system/kafka.service：

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

六、常见问题

端口不通：检查防火墙

ufw allow 2181
ufw allow 9092

Zookeeper 起不来：myid 和 server.x 对应错误
Kafka 找不到 controller：Zookeeper 未完全启动

如果你需要：

✅ KRaft 模式（无 Zookeeper）
✅ Docker / docker-compose 部署
✅ 安全认证（SASL/SSL）

告诉我，我可以直接给你对应方案。