温馨提示×

怎么在Debian配Kafka

小樊
42
2026-07-11 15:29:39
栏目: 智能运维

下面是在 Debian 上配置 Apache Kafka 的完整流程(以 Kafka 3.x + Java 17 为例,适用于 Debian 11/12)。


一、前置条件

1. 安装 Java(必须)

Kafka 依赖 JVM。

sudo apt update
sudo apt install -y openjdk-17-jdk

验证:

java -version

二、下载并安装 Kafka

1. 下载 Kafka

去官网复制最新下载地址: https://kafka.apache.org/downloads

示例(以 3.7.0 为例):

cd /opt
sudo wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 kafka

2. 设置环境变量(可选)

echo 'export KAFKA_HOME=/opt/kafka' >> ~/.bashrc
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

三、启动 Kafka(本地单机)

Kafka 自带 Zookeeper(默认方式)。

1. 启动 Zookeeper

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

新终端窗口继续下一步


2. 启动 Kafka

cd /opt/kafka
bin/kafka-server-start.sh config/server.properties

如看到:

[KafkaServer id=0] started

说明启动成功。


四、测试 Kafka 是否可用

1. 创建 Topic

bin/kafka-topics.sh \
--create \
--topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

查看 Topic:

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

2. 发送消息(生产者)

bin/kafka-console-producer.sh \
--topic test-topic \
--bootstrap-server localhost:9092

输入内容后回车:

hello kafka

3. 消费消息(消费者)

bin/kafka-console-consumer.sh \
--topic test-topic \
--from-beginning \
--bootstrap-server localhost:9092

如果能看到消息,说明 Kafka 正常工作 ✅


五、配置 Kafka(常用)

1. 修改监听地址(远程访问)

编辑:

nano /opt/kafka/config/server.properties

修改:

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092

重启 Kafka:

bin/kafka-server-stop.sh
bin/kafka-server-start.sh config/server.properties

2. 修改数据目录

log.dirs=/data/kafka-logs

创建目录:

sudo mkdir -p /data/kafka-logs
sudo chown $(whoami) /data/kafka-logs

六、配置为 systemd 服务(推荐)

1. Zookeeper service

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=Zookeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka service

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启动并设置开机自启

sudo systemctl daemon-reload
sudo systemctl enable zookeeper kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

查看状态:

systemctl status kafka

七、KRaft 模式(无 Zookeeper,推荐新项目)

如果你不想用 Zookeeper,可以用 KRaft 模式(Kafka 3.x 支持):

bin/kafka-storage.sh format -t $(bin/kafka-storage.sh random-uuid) -c config/kraft/server.properties
bin/kafka-server-start.sh config/kraft/server.properties

八、常见问题

1. 端口被占用

ss -lntp | grep 9092

2. Java 找不到

sudo update-alternatives --config java

如果你愿意,我可以:

  • ✅ 给你 生产环境 Kafka 配置
  • ✅ 帮你 配集群(3 节点)
  • ✅ 配 KRaft + systemd
  • ✅ 配 Kafka + Python / Java / Go 客户端

你现在是在 本地测试 还是 服务器部署

0