温馨提示×

如何安装Debian Kafka

小樊
32
2026-07-11 16:36:41
栏目: 智能运维

下面给你一个在 Debian(11/12)上安装 Apache Kafka 的完整示例教程,适合单机测试或开发环境。如果你需要生产集群部署,我也可以再补充。


一、环境准备

1. 更新系统

sudo apt update && sudo apt upgrade -y

2. 安装 Java(Kafka 依赖)

Kafka 需要 Java 8 或 Java 11+

sudo apt install -y openjdk-11-jdk

验证:

java -version

二、创建 Kafka 用户(推荐)

sudo useradd -r -m -s /bin/bash kafka

三、下载并安装 Kafka

1. 进入安装目录

cd /opt

2. 下载 Kafka(以 3.6.1 为例)

sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz

如果你在中国访问慢,可用清华镜像:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.6.1/kafka_2.13-3.6.1.tgz

3. 解压

sudo tar -xzf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka

4. 设置权限

sudo chown -R kafka:kafka /opt/kafka

四、配置 Kafka

1. 切换到 kafka 用户

sudo su - kafka
cd /opt/kafka

2. Kafka 主要配置文件

config/server.properties

常用修改项(可选):

broker.id=0
log.dirs=/tmp/kafka-logs
listeners=PLAINTEXT://localhost:9092

五、启动 Kafka(先启动 Zookeeper)

1. 启动 Zookeeper

./bin/zookeeper-server-start.sh config/zookeeper.properties

默认端口:2181

2. 启动 Kafka

新开一个终端:

sudo su - kafka
cd /opt/kafka
./bin/kafka-server-start.sh config/server.properties

六、测试 Kafka

1. 创建 Topic

./bin/kafka-topics.sh --create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

2. 查看 Topic

./bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 发送消息

./bin/kafka-console-producer.sh \
--topic test \
--bootstrap-server localhost:9092

4. 消费消息

./bin/kafka-console-consumer.sh \
--topic test \
--from-beginning \
--bootstrap-server localhost:9092

七、配置为 systemd 服务(推荐)

1. Zookeeper 服务

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=Apache Zookeeper
After=network.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka 服务

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启动并设置开机自启

sudo systemctl daemon-reload
sudo systemctl enable zookeeper kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

八、常见问题

1. Kafka 启动失败

journalctl -u kafka -xe

常见原因:

  • Java 未安装
  • 端口 9092 / 2181 被占用
  • 内存不足

2. 生产环境建议

  • 使用 KRaft 模式(无 Zookeeper)
  • 至少 3 台 broker
  • 使用独立磁盘
  • JVM 堆内存调整

九、KRaft 模式(新版本推荐)

如果你希望 不使用 Zookeeper,我可以直接给你 Debian + Kafka KRaft 模式 的部署方案。


如果你告诉我:

  • Debian 几?
  • 单机还是集群?
  • 是否用于 生产环境?

我可以给你更精确的配置方案 ✅

0