温馨提示×

怎样在debian搞kafka配

小樊
39
2026-09-06 23:46:18
栏目: 智能运维

下面给你一个在 Debian 上从零配置 Kafka(单节点)的实用流程,适合新手到中等水平。假设你用的是 Debian 11/12,并且是 Kafka 3.x + Kafka 自带的 KRaft 或 Zookeeper 模式(这里先用最稳妥的 Zookeeper 模式,资料最多)。


一、准备工作

1. 更新系统

sudo apt update
sudo apt upgrade -y

2. 安装 Java(Kafka 依赖)

Kafka 需要 JDK 8 或 11(推荐 11)

sudo apt install -y openjdk-11-jdk
java -version

二、下载并安装 Kafka

1. 创建目录

sudo mkdir -p /opt/kafka
cd /opt/kafka

2. 下载 Kafka(以 3.6.1 为例)

wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
mv kafka_2.13-3.6.1/* .
rm -rf kafka_2.13-3.6.1

三、配置 Zookeeper(Kafka 依赖)

1. 修改 Zookeeper 配置

nano config/zookeeper.properties

常见配置(默认一般可用):

dataDir=/opt/kafka/zookeeper-data
clientPort=2181

创建数据目录:

mkdir -p /opt/kafka/zookeeper-data

四、配置 Kafka

1. 修改 server.properties

nano config/server.properties

关键配置(单节点):

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://localhost:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=localhost:2181

创建日志目录:

mkdir -p /opt/kafka/kafka-logs

五、启动 Kafka(测试用)

1. 启动 Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

2. 新开一个终端,启动 Kafka

bin/kafka-server-start.sh config/server.properties

看到:

started (kafka.server.KafkaServer)

说明成功。


六、测试 Kafka 是否可用

1. 创建 Topic

bin/kafka-topics.sh --create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

2. 生产消息

bin/kafka-console-producer.sh \
--topic test \
--bootstrap-server localhost:9092

输入:

hello kafka

3. 消费消息(新终端)

bin/kafka-console-consumer.sh \
--topic test \
--from-beginning \
--bootstrap-server localhost:9092

能看到 hello kafka 就 OK 了。


七、设置为系统服务(推荐)

1. Zookeeper service

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=Zookeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

2. Kafka service

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

3. 启动

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

八、常见坑

问题 解决
端口被占用 检查 2181 / 9092
无法远程连接 advertised.listeners
Java 版本错 Kafka 3.x 不支持 Java 17
重启丢数据 检查 log.dirs 权限

九、可选进阶

  • ✅ KRaft 模式(无 Zookeeper)
  • ✅ 多 broker 集群
  • ✅ SASL / SSL 安全
  • ✅ Kafka + Debian + Docker

如果你告诉我:

  • Debian 版本
  • Kafka 用途(开发 / 生产)
  • 是否要集群

我可以直接给你定制配置

0