温馨提示×

debian怎样配置kafka

小樊
37
2026-10-12 16:47:34
栏目: 智能运维

下面给你一份**在 Debian 上配置 Kafka(单机 / 基础可用)**的实用步骤,面向 Kafka 3.x + Kafka 自带的 KRaft 或 ZooKeeper 模式(目前主流)。


一、环境准备

1. 安装 Java

Kafka 依赖 JVM(推荐 Java 8 / 11 / 17)

sudo apt update
sudo apt install -y openjdk-17-jdk

验证:

java -version

二、下载并安装 Kafka

以 Kafka 3.7 为例(可替换版本):

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 kafka

三、方式一:使用 ZooKeeper(传统方式,简单)

1. 启动 ZooKeeper

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

后台运行:

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1 &

2. 配置 Kafka

编辑:

nano config/server.properties

常见配置(单机示例):

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

保存后启动:

nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &

四、方式二:使用 KRaft(Kafka 3.x 推荐,无 ZooKeeper)

1. 生成 Cluster ID

KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)

2. 格式化存储

bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties

3. 修改配置

nano config/kraft/server.properties

示例:

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
advertised.listeners=PLAINTEXT://<服务器IP>:9092
log.dirs=/tmp/kraft-logs

4. 启动 Kafka

nohup bin/kafka-server-start.sh config/kraft/server.properties > kafka.log 2>&1 &

五、验证 Kafka 是否可用

1. 创建 Topic

bin/kafka-topics.sh --create \
  --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

2. 查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 生产 / 消费消息

生产者:

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

消费者(另开终端):

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

六、 Debian 开机自启(systemd 示例)

1. 创建 service

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
User=root
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

启用:

sudo systemctl daemon-reload
sudo systemctl enable kafka
sudo systemctl start kafka

七、常见问题

  • 端口不通:检查防火墙 ufw allow 9092
  • 外部无法连接:advertised.listeners 必须写真实 IP
  • 日志爆盘:修改 log.retention.hours

如果你需要:

  • ✅ Debian + Docker 部署 Kafka
  • ✅ Kafka 集群(多 broker)
  • ✅ SASL / SSL 安全配置

可以直接告诉我你的使用场景。

0 踩