debian kafka集群怎么建

下面给你一个**在 Debian 上搭建 Kafka 集群（多 broker）**的实用步骤，基于 Kafka 3.x + KRaft 模式（不依赖 ZooKeeper，推荐新集群使用）。如果你必须用 ZooKeeper 模式我也可以再给。

一、环境准备

1. 服务器规划（示例）

假设 3 台 Debian 机器：

主机名	IP
kafka1	192.168.1.11
kafka2	192.168.1.12
kafka3	192.168.1.13

Kafka 集群建议 奇数节点（3 / 5）

2. 系统要求

Debian 11 / 12
Java 17（Kafka 3.6+ 推荐）

sudo apt update
sudo apt install -y openjdk-17-jdk
java -version

二、下载 Kafka

在 每台机器 执行：

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
sudo tar -xzf kafka_2.13-3.7.1.tgz
sudo mv kafka_2.13-3.7.1 kafka

三、KRaft 模式集群配置

1. 生成 Cluster ID（只在一台机器）

/opt/kafka/bin/kafka-storage.sh random-uuid

记下输出，例如：

ABC123XY-XXXX

2. 配置 server.properties

编辑：

/opt/kafka/config/kraft/server.properties

通用配置（三台相同）

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@192.168.1.11:9093,2@192.168.1.12:9093,3@192.168.1.13:9093

listeners=PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners=PLAINTEXT://192.168.1.11:9092

controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

log.dirs=/opt/kafka/data

⚠️ 注意：

node.id 每台不同（1 / 2 / 3）
advertised.listeners 改成各自 IP

3. 初始化存储（每台）

/opt/kafka/bin/kafka-storage.sh format \
  -t ABC123XY-XXXX \
  -c /opt/kafka/config/kraft/server.properties

四、启动 Kafka

前台测试

/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties

后台运行

nohup /opt/kafka/bin/kafka-server-start.sh \
  /opt/kafka/config/kraft/server.properties > /opt/kafka/logs/server.log 2>&1 &

三台都启动后，集群就建好了。

五、验证集群

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --create --topic test \
  --partitions 3 --replication-factor 3 \
  --bootstrap-server 192.168.1.11:9092

2. 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
  --describe --topic test \
  --bootstrap-server 192.168.1.11:9092

3. 生产 / 消费测试

# 生产
kafka-console-producer.sh --topic test --bootstrap-server 192.168.1.11:9092

# 消费
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server 192.168.1.11:9092

六、可选：系统服务（systemd）

sudo vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=network.target

[Service]
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now kafka

七、常见问题

端口不通：检查 9092 / 9093 防火墙
node.id 冲突：每台必须唯一
数据目录权限：chown -R 给运行用户

如果你需要：

✅ ZooKeeper 模式
✅ SASL / SSL 安全集群
✅ Docker / k8s 部署

告诉我你的使用场景，我可以直接给你对应方案。