kafka集群debian怎么配置

下面给你一份**在 Debian 上部署 Kafka 集群（多节点）**的实操配置指南，基于 Kafka 3.x + Kafka 自带的 KRaft 模式（推荐，不再依赖 ZooKeeper），如果你仍需要 ZooKeeper 模式我也可以补充。

一、环境准备

1. 服务器规划（示例）

假设 3 台 Debian 12 节点：

2. 基础环境

# 所有节点执行
sudo apt update
sudo apt install -y openjdk-17-jdk wget tar
java -version

二、下载并安装 Kafka

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
sudo tar -xzf kafka_2.13-3.7.1.tgz
sudo mv kafka_2.13-3.7.1 kafka

三、配置 KRaft 模式集群

1. 生成 Cluster UUID（任选一台）

KAFKA_CLUSTER_ID=$(/opt/kafka/bin/kafka-storage.sh random-uuid)
echo $KAFKA_CLUSTER_ID

2. 修改配置文件

编辑：

/opt/kafka/config/kraft/server.properties

kafka1 示例

node.id=1
process.roles=broker,controller
controllers=1@192.168.1.11:9093,2@192.168.1.12:9093,3@192.168.1.13:9093
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://192.168.1.11:9092
controller.listener.names=CONTROLLER
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
log.dirs=/opt/kafka/data

kafka2

node.id=2
advertised.listeners=PLAINTEXT://192.168.1.12:9092

kafka3

node.id=3
advertised.listeners=PLAINTEXT://192.168.1.13:9092

⚠️ 其他配置保持一致

四、初始化存储（所有节点）

/opt/kafka/bin/kafka-storage.sh format \
  -t $KAFKA_CLUSTER_ID \
  -c /opt/kafka/config/kraft/server.properties

五、启动 Kafka

/opt/kafka/bin/kafka-server-start.sh \
  -daemon /opt/kafka/config/kraft/server.properties

查看日志：

tail -f /opt/kafka/logs/server.log

六、验证集群

创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --create --topic test \
  --partitions 3 --replication-factor 3 \
  --bootstrap-server 192.168.1.11:9092

查看 Topic

/opt/kafka/bin/kafka-topics.sh \
  --describe --topic test \
  --bootstrap-server 192.168.1.11:9092

七、系统服务（推荐）

systemd 示例

sudo nano /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable kafka

八、常见注意点

• ✅ 防火墙开放 9092 / 9093
• ✅ advertised.listeners 必须是其他节点可访问的 IP
• ✅ 三节点 replication-factor 最大为 3

如果你需要：

• ZooKeeper 模式
• SSL / SASL 安全配置
• Docker / Kubernetes 部署

告诉我你的使用场景，我可以直接给你对应配置。