debian怎样部署kafka集群

下面给你一份**在 Debian 上部署 Kafka 集群（3 节点示例）**的实用指南，偏向生产可用、步骤清晰。

一、环境准备

1. 节点规划（示例）

假设 3 台 Debian 服务器：

Kafka 依赖 Zookeeper（或 KRaft），这里先用 Zookeeper 模式（最常用、最稳定）

2. 系统要求

• Debian 11 / 12
• Java 8 或 Java 11（推荐 Java 11）
• 防火墙放行端口：
  • 2181（Zookeeper）
  • 9092（Kafka）

二、安装 Java

sudo apt update
sudo apt install -y openjdk-11-jdk

验证：

java -version

三、安装 Zookeeper（所有节点）

1. 下载 Zookeeper

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz
tar -xzf apache-zookeeper-3.7.1-bin.tar.gz
mv apache-zookeeper-3.7.1-bin zookeeper

2. 配置 Zookeeper

cd /opt/zookeeper
cp conf/zoo_sample.cfg conf/zoo.cfg

编辑 conf/zoo.cfg：

tickTime=2000
dataDir=/data/zookeeper
clientPort=2181
initLimit=5
syncLimit=2

server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888

3. 创建 myid

mkdir -p /data/zookeeper
# kafka1
echo 1 > /data/zookeeper/myid
# kafka2
echo 2 > /data/zookeeper/myid
# kafka3
echo 3 > /data/zookeeper/myid

4. 启动 Zookeeper

/opt/zookeeper/bin/zkServer.sh start

四、安装 Kafka（所有节点）

1. 下载 Kafka

cd /opt
wget https://archive.apache.org/dist/kafka/3.5.1/kafka_2.13-3.5.1.tgz
tar -xzf kafka_2.13-3.5.1.tgz
mv kafka_2.13-3.5.1 kafka

2. 配置 Kafka

编辑 config/server.properties：

kafka1

broker.id=1
listeners=PLAINTEXT://192.168.1.11:9092
advertised.listeners=PLAINTEXT://192.168.1.11:9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181
log.dirs=/data/kafka-logs
num.partitions=3
default.replication.factor=3
min.insync.replicas=2

kafka2

broker.id=2
listeners=PLAINTEXT://192.168.1.12:9092
advertised.listeners=PLAINTEXT://192.168.1.12:9092

kafka3

broker.id=3
listeners=PLAINTEXT://192.168.1.13:9092
advertised.listeners=PLAINTEXT://192.168.1.13:9092

创建日志目录：

mkdir -p /data/kafka-logs

五、启动 Kafka

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

查看日志：

tail -f /opt/kafka/logs/server.log

六、验证集群

1. 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
--create \
--topic test \
--partitions 3 \
--replication-factor 3 \
--bootstrap-server 192.168.1.11:9092

2. 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
--describe \
--topic test \
--bootstrap-server 192.168.1.11:9092

3. 生产 / 消费测试

# 生产
kafka-console-producer.sh --topic test --bootstrap-server 192.168.1.11:9092

# 消费
kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server 192.168.1.12:9092

七、设为系统服务（推荐）

示例 systemd（Kafka）：

[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

八、可选进阶

• ✅ Kafka 3.x KRaft 模式（无 Zookeeper）
• ✅ SASL / SSL 安全认证
• ✅ Kafka Manager / CMAK 监控
• ✅ Prometheus + Grafana 监控

如果你愿意，我可以：

• 给你 KRaft 模式部署
• 给你 Docker / Docker Compose 版本
• 或直接按你的 Debian 版本 + Kafka 版本定制配置

你是用于学习还是生产环境？