debian kafka集群怎么配

下面给你一份在 Debian 上部署 Kafka 集群（多 broker）的实操配置指南，基于 Kafka 3.x + Kafka 自带 KRaft（推荐，不再依赖 ZooKeeper），如果你还在用 ZooKeeper 模式我也会简单提一下。

一、环境准备（所有节点都要做）

1. 系统要求

• Debian 11 / 12
• Java 17（Kafka 3.6+ 推荐）
• 至少 3 台机器（做集群最少 3 broker）

2. 安装 Java

sudo apt update
sudo apt install -y openjdk-17-jdk
java -version

3. 创建用户（可选但推荐）

sudo useradd -m -s /bin/bash kafka

4. 下载 Kafka

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
sudo tar -xzf kafka_2.13-3.7.1.tgz
sudo mv kafka_2.13-3.7.1 kafka
sudo chown -R kafka:kafka /opt/kafka

二、KRaft 模式 Kafka 集群配置（推荐）

1. 节点角色规划

假设 3 台机器：

2. 生成 Cluster ID（任意一台执行）

/opt/kafka/bin/kafka-storage.sh random-uuid

示例输出：

abc12345-6789-xxxx-yyyy-zzzzzzzzzzzz

3. 配置 server.properties（每节点不同）

编辑：

/opt/kafka/config/kraft/server.properties

通用配置（所有节点）

process.roles=broker,controller
node.id=1   # 每台不同：1 / 2 / 3
controller.quorum.voters=1@192.168.1.11:9093,2@192.168.1.12:9093,3@192.168.1.13:9093

listeners=PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners=PLAINTEXT://192.168.1.11:9092

listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
inter.broker.listener.name=PLAINTEXT

log.dirs=/opt/kafka/data
num.partitions=3
default.replication.factor=3
min.insync.replicas=2

⚠️ 注意：

• node.id 每节点唯一
• advertised.listeners 写本机 IP
• controller.quorum.voters 所有节点一致

4. 初始化存储（每台执行）

/opt/kafka/bin/kafka-storage.sh format \
  -t abc12345-6789-xxxx-yyyy-zzzzzzzzzzzz \
  -c /opt/kafka/config/kraft/server.properties

5. 启动 Kafka

/opt/kafka/bin/kafka-server-start.sh \
  -daemon /opt/kafka/config/kraft/server.properties

查看日志：

tail -f /opt/kafka/logs/server.log

三、验证集群

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --create --topic test \
  --partitions 3 --replication-factor 3 \
  --bootstrap-server 192.168.1.11:9092

2. 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
  --describe --topic test \
  --bootstrap-server 192.168.1.11:9092

3. 生产 / 消费测试

# 生产
kafka-console-producer.sh --topic test --bootstrap-server 192.168.1.11:9092

# 消费
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server 192.168.1.11:9092

四、Systemd 管理（推荐）

sudo vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now kafka

五、ZooKeeper 模式（不推荐，老方案）

如果你必须用老版本：

• 先起 3 台 ZooKeeper（2181）
• server.properties 里配：

zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

其余类似。

六、常见问题

• 端口不通 → 防火墙 / 云安全组放通 9092、9093
• node.id 冲突 → 集群起不来
• advertised.listeners 错 → 客户端连不上

如果你愿意，我可以：

• 帮你写 完整 Ansible 自动化部署
• 配 SASL / SSL 安全集群
• 或按你 Debian 版本 + Kafka 版本 精确定制

你现在是几台机器、什么 Kafka 版本？