温馨提示×

debian上kafka配置如何做

小樊
45
2026-09-25 04:33:43
栏目: 智能运维

下面以 Debian 11/12 为例,给你一个从零到可用的 Kafka 配置流程(包含 ZooKeeper 方式,也说明 KRaft 方式)。


一、环境准备

1. 安装 Java(Kafka 依赖)

sudo apt update
sudo apt install -y openjdk-17-jdk
java -version

Kafka 3.x 推荐 Java 11 / 17


二、下载并安装 Kafka

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 kafka

三、ZooKeeper 模式(传统方式)

1. 配置 ZooKeeper

编辑:

sudo nano /opt/kafka/config/zookeeper.properties

常用配置:

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0

创建数据目录:

sudo mkdir -p /var/lib/zookeeper

2. 配置 Kafka

编辑:

sudo nano /opt/kafka/config/server.properties

关键配置:

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092
log.dirs=/var/lib/kafka-logs
zookeeper.connect=localhost:2181
num.partitions=3
default.replication.factor=1

创建日志目录:

sudo mkdir -p /var/lib/kafka-logs

四、启动 Kafka(测试)

# 启动 ZooKeeper
/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

# 启动 Kafka
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

查看进程:

jps

五、创建 Systemd 服务(推荐)

1. ZooKeeper

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=ZooKeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
Restart=on-failure

[Install]
WantedBy=multi-user.target

启用:

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

六、验证 Kafka

/opt/kafka/bin/kafka-topics.sh \
  --create --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 1 --replication-factor 1
/opt/kafka/bin/kafka-console-producer.sh \
  --topic test --bootstrap-server localhost:9092
/opt/kafka/bin/kafka-console-consumer.sh \
  --topic test --from-beginning --bootstrap-server localhost:9092

七、KRaft 模式(无 ZooKeeper,Kafka 3.x+)

适合新项目

cd /opt/kafka
KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)
bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties

server.properties 关键:

process.roles=broker,controller
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
controller.quorum.voters=0@localhost:9093

启动:

bin/kafka-server-start.sh -daemon config/kraft/server.properties

八、常见问题

  • 外网连不上:检查 advertised.listeners
  • 端口占用:9092 / 2181
  • 权限问题:Kafka 目录不要用 root 跑业务

如果你愿意,我可以:

  • 帮你写 生产级 server.properties
  • 配置 SASL / SSL
  • 做 多 broker 集群
  • 用 docker-compose 部署

你现在的 Kafka 是测试还是生产环境?

0 踩