温馨提示×

Kafka怎么在Debian配置

小樊
47
2026-07-11 15:32:45
栏目: 智能运维

下面给你一个在 Debian 系统上配置 Apache Kafka 的完整流程示例(以 Kafka 3.x + Debian 11/12 为例,JDK 11+)。


一、前置条件

1. 安装 Java(必须)

Kafka 依赖 JVM:

sudo apt update
sudo apt install -y openjdk-17-jdk

验证:

java -version

二、下载并安装 Kafka

1. 创建安装目录

sudo mkdir -p /opt/kafka
cd /opt/kafka

2. 下载 Kafka(推荐官方镜像)

3.6.1 为例(可换成最新版):

wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz

2.13 是 Scala 版本,不影响使用

3. 解压

tar -xzf kafka_2.13-3.6.1.tgz
mv kafka_2.13-3.6.1/* .
rm -rf kafka_2.13-3.6.1 kafka_2.13-3.6.1.tgz

三、配置 Kafka

1. Zookeeper 配置(如果仍使用 ZK)

Kafka 新版已支持 KRaft,但 ZK 模式更稳定、资料更多

编辑:

nano config/zookeeper.properties

常见配置:

dataDir=/var/lib/zookeeper
clientPort=2181

创建数据目录:

sudo mkdir -p /var/lib/zookeeper

2. Kafka Broker 配置

nano config/server.properties

关键配置:

broker.id=0
listeners=PLAINTEXT://localhost:9092
log.dirs=/var/lib/kafka-logs
zookeeper.connect=localhost:2181

创建日志目录:

sudo mkdir -p /var/lib/kafka-logs

四、启动 Kafka

1. 启动 Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

后台运行(可选):

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. 启动 Kafka Broker

bin/kafka-server-start.sh config/server.properties

后台运行:

bin/kafka-server-start.sh -daemon config/server.properties

五、验证 Kafka 是否运行

1. 创建 Topic

bin/kafka-topics.sh --create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

2. 查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 发送消息

bin/kafka-console-producer.sh \
--topic test \
--bootstrap-server localhost:9092

4. 消费消息

bin/kafka-console-consumer.sh \
--topic test \
--from-beginning \
--bootstrap-server localhost:9092

六、配置为 systemd 服务(推荐)

1. Zookeeper service

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=Apache Zookeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka service

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启动并设置开机自启

sudo systemctl daemon-reload
sudo systemctl enable zookeeper
sudo systemctl enable kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

七、常见问题

1. Kafka 启动慢

  • 检查 JVM 内存
  • 修改 bin/kafka-server-start.shKAFKA_HEAP_OPTS
export KAFKA_HEAP_OPTS="-Xms512M -Xmx512M"

2. 外网无法访问

修改:

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092

八、KRaft 模式(无 Zookeeper,可选)

如果你需要 Kafka 3.x 的 KRaft 模式配置,我可以单独给你一份 Debian + KRaft 单节点/集群配置示例


如果你告诉我:

  • Debian 版本
  • 单节点还是集群
  • 是否生产环境

我可以给你一份 更贴近你实际场景的配置方案

0