温馨提示×

如何在debian设kafka配置

小樊
38
2026-09-25 04:21:43
栏目: 智能运维

下面以 Debian 系列(Debian 11/12、Ubuntu 类似) 为例,系统性地说明 Kafka 的安装与配置步骤。


一、准备工作

1. 安装 Java

Kafka 依赖 JVM(推荐 JDK 8 / 11 / 17)

sudo apt update
sudo apt install -y openjdk-17-jdk

验证:

java -version

2. 创建专用用户(推荐)

sudo useradd -m -s /bin/bash kafka
sudo passwd kafka

二、下载并安装 Kafka

以 Kafka 3.6 为例(可自行替换版本):

cd /opt
sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -xzf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka
sudo chown -R kafka:kafka /opt/kafka

三、Kafka 核心配置

1. Zookeeper 配置(Kafka 3.5 之前)

配置文件:

/opt/kafka/config/zookeeper.properties

常用配置:

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0

创建数据目录:

sudo mkdir -p /var/lib/zookeeper
sudo chown -R kafka:kafka /var/lib/zookeeper

2. Kafka 服务端配置

文件:

/opt/kafka/config/server.properties

最常用配置示例:

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092

log.dirs=/var/lib/kafka-logs
num.partitions=3
default.replication.factor=1

zookeeper.connect=localhost:2181

创建日志目录:

sudo mkdir -p /var/lib/kafka-logs
sudo chown -R kafka:kafka /var/lib/kafka-logs

⚠️ 如果是 KRaft 模式(Kafka 3.5+),不使用 Zookeeper,需要:

/opt/kafka/config/kraft/server.properties

四、配置 Systemd 服务(推荐)

1. Zookeeper 服务

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=Apache Zookeeper
After=network.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

2. Kafka 服务

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=network.target zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

3. 启动 Kafka

sudo systemctl daemon-reload
sudo systemctl enable zookeeper
sudo systemctl enable kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

查看状态:

sudo systemctl status kafka

五、验证 Kafka 是否正常工作

/opt/kafka/bin/kafka-topics.sh \
  --create --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 1 --replication-factor 1

列出主题:

/opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

六、常见配置场景

1. 监听外部访问

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://公网IP:9092

2. 开启 SASL / SSL

需修改:

server.properties

并增加:

security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN

七、常见问题

  • 端口不可用:检查 9092 / 2181 防火墙
  • broker.id 冲突:集群中必须唯一
  • Java 版本不匹配:Kafka 3.x 推荐 JDK 11+

如果你需要:

  • ✅ Kafka 集群配置
  • ✅ KRaft 模式(无 Zookeeper)
  • ✅ Docker / Debian
  • ✅ 安全认证(SASL/SSL)

可以告诉我你的使用场景,我可以直接给你一套完整配置。

0 踩