debian kafka如何集群

下面给你一个在 Debian 上部署 Kafka 集群的实用指南，基于 Kafka 3.x + KRaft 模式（推荐，不再依赖 ZooKeeper），如果你需要用 ZooKeeper 模式我也可以单独给。

一、环境准备（所有节点都要做）

假设你有 3 台 Debian 服务器：

1. 安装 Java

sudo apt update
sudo apt install -y openjdk-17-jdk
java -version

2. 创建用户（可选但推荐）

sudo useradd -m -s /bin/bash kafka

3. 下载 Kafka

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 kafka
sudo chown -R kafka:kafka /opt/kafka

二、KRaft 集群配置（核心）

1. 生成 Cluster ID（只在一台执行）

/opt/kafka/bin/kafka-storage.sh random-uuid

示例输出：

abc12345-6789-0abc-def0-1234567890ab

2. 配置 server.properties

编辑：

/opt/kafka/config/kraft/server.properties

通用配置（三台都一样）

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@192.168.1.11:9093,2@192.168.1.12:9093,3@192.168.1.13:9093

listeners=PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners=PLAINTEXT://<本机IP>:9092

listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
controller.listener.names=CONTROLLER

log.dirs=/opt/kafka/data

不同节点修改：

• node.id
  • kafka1 → 1
  • kafka2 → 2
  • kafka3 → 3
• advertised.listeners
  • kafka1 → 192.168.1.11
  • kafka2 → 192.168.1.12
  • kafka3 → 192.168.1.13

3. 初始化存储（每台都要）

/opt/kafka/bin/kafka-storage.sh format \
  -t abc12345-6789-0abc-def0-1234567890ab \
  -c /opt/kafka/config/kraft/server.properties

三、启动 Kafka

前台启动（测试）

/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties

后台启动

nohup /opt/kafka/bin/kafka-server-start.sh \
  /opt/kafka/config/kraft/server.properties > /opt/kafka/kafka.log 2>&1 &

四、验证集群

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --create --topic test \
  --partitions 3 --replication-factor 3 \
  --bootstrap-server 192.168.1.11:9092

2. 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
  --describe --topic test \
  --bootstrap-server 192.168.1.11:9092

3. 生产 / 消费测试

# 生产
kafka-console-producer.sh --topic test --bootstrap-server 192.168.1.11:9092

# 消费
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server 192.168.1.12:9092

五、Systemd 管理（推荐）

/etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable kafka
sudo systemctl start kafka

六、常见问题

• 端口不通：检查 9092 / 9093 防火墙
• node.id 冲突：每台必须唯一
• 脑裂：controller.quorum.voters 必须完全一致

如果你需要：

• ✅ ZooKeeper 模式
• ✅ SASL / SSL 安全集群
• ✅ Docker / Kubernetes 部署

告诉我你的使用场景即可。