kafka集群debian怎部署

下面给你一份**在 Debian 上部署 Kafka 集群（多节点）**的实用指南，基于 Kafka 3.x + KRaft 模式（推荐，不再依赖 ZooKeeper），适合生产/测试环境。

一、环境准备

1. 节点规划（示例）

假设你有 3 台 Debian 机器：

主机名	IP
kafka1	192.168.1.11
kafka2	192.168.1.12
kafka3	192.168.1.13

Kafka 集群至少 3 个节点（保证高可用）

2. 系统要求

Debian 11 / 12
Java 17（Kafka 3.6+ 推荐）
防火墙放行端口：9092（客户端）、9093（控制器）

二、安装 Java

sudo apt update
sudo apt install -y openjdk-17-jdk

java -version

三、下载并安装 Kafka

在 所有节点 执行：

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
sudo tar -xzf kafka_2.13-3.7.1.tgz
sudo mv kafka_2.13-3.7.1 kafka

四、配置 KRaft 模式（无 ZooKeeper）

1. 生成 Cluster ID（只需一次）

在 任意一个节点 执行：

KAFKA_CLUSTER_ID=$(/opt/kafka/bin/kafka-storage.sh random-uuid)
echo $KAFKA_CLUSTER_ID

记下这个 ID，例如：

xtzW8eN-Tmqg2eJq8J3t7g

2. 配置 server.properties

编辑：

/opt/kafka/config/kraft/server.properties

所有节点公共配置

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@192.168.1.11:9093,2@192.168.1.12:9093,3@192.168.1.13:9093

listeners=PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners=PLAINTEXT://<本机IP>:9092

controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

log.dirs=/opt/kafka/data
metadata.log.dir=/opt/kafka/meta

⚠️ 每个节点改：

node.id（1 / 2 / 3）
advertised.listeners 的 IP

3. 初始化存储（所有节点）

/opt/kafka/bin/kafka-storage.sh format \
  -t xtzW8eN-Tmqg2eJq8J3t7g \
  -c /opt/kafka/config/kraft/server.properties

五、启动 Kafka

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/kraft/server.properties

查看日志：

tail -f /opt/kafka/logs/server.log

六、验证集群

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --create \
  --topic test \
  --partitions 3 \
  --replication-factor 3 \
  --bootstrap-server 192.168.1.11:9092

2. 查看集群

/opt/kafka/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.1.11:9092

3. 生产 / 消费测试

# 生产
kafka-console-producer.sh --topic test --bootstrap-server 192.168.1.11:9092

# 消费
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server 192.168.1.11:9092

七、Systemd 管理（推荐）

sudo vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now kafka

八、常见问题

1. 端口不通

sudo ufw allow 9092
sudo ufw allow 9093

2. 磁盘权限

sudo chown -R $USER:$USER /opt/kafka

3. 老版本（ZooKeeper）

如果你必须用 ZooKeeper，我也可以给你 ZooKeeper + Kafka 老架构部署方案。

如果你愿意，我可以：

给你 Docker / docker-compose 版
给你 生产级参数调优
给你 ACL / SSL 安全配置

你打算用在 测试还是生产？