温馨提示×

Debian Kafka怎么设置

小樊
46
2026-10-03 21:45:08
栏目: 智能运维

下面我按在 Debian 上从零部署 Kafka(单机 / 伪集群)的思路给你说明,包含系统准备、安装、配置、启动、常见设置。如果你是指“Debian 下 Kafka 的某个具体设置(如开机自启、SSL、权限、分区)”,可以再告诉我。


一、环境准备(Debian)

1. 安装 Java(Kafka 依赖)

Kafka 3.x 需要 JDK 8+(推荐 JDK 11/17)

sudo apt update
sudo apt install -y openjdk-17-jdk

验证:

java -version

二、下载并安装 Kafka

1. 创建目录

sudo mkdir -p /opt/kafka
cd /opt/kafka

2. 下载 Kafka(以 3.7 为例)

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
mv kafka_2.13-3.7.0/* .
rm -rf kafka_2.13-3.7.0

三、基础配置(重要)

1. ZooKeeper(Kafka 老版本需要)

Kafka 3.3+ 可用 KRaft 模式(无 ZooKeeper),下面先给传统模式

编辑:

nano config/zookeeper.properties

常见设置:

dataDir=/opt/kafka/zookeeper-data
clientPort=2181

创建目录:

mkdir -p /opt/kafka/zookeeper-data

2. Kafka 服务配置

nano config/server.properties

最小可用配置:

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://localhost:9092
log.dirs=/opt/kafka/kafka-logs
num.partitions=3
default.replication.factor=1
zookeeper.connect=localhost:2181

创建日志目录:

mkdir -p /opt/kafka/kafka-logs

四、启动 Kafka(测试)

1. 启动 ZooKeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

2. 启动 Kafka

bin/kafka-server-start.sh config/server.properties

五、基础验证

创建 Topic

bin/kafka-topics.sh --create \
  --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 3 \
  --replication-factor 1

查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

生产 / 消费消息

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

六、Debian 开机自启(systemd)

1. Kafka systemd 服务

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=network.target zookeeper.service

[Service]
Type=simple
User=root
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. ZooKeeper systemd

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=ZooKeeper
After=network.target

[Service]
Type=simple
User=root
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启用

sudo systemctl daemon-reload
sudo systemctl enable zookeeper
sudo systemctl enable kafka
sudo systemctl start zookeeper
sudo systemctl start kafka

七、常见 Debian 下 Kafka 设置

1. 允许远程连接

advertised.listeners=PLAINTEXT://<服务器IP>:9092

2. 增大消息大小

message.max.bytes=10485760

3. 日志保留时间

log.retention.hours=168

八、KRaft 模式(无 ZooKeeper,推荐新项目)

如你需要,我可以单独给你 Debian + Kafka KRaft 配置教程。


如果你能告诉我:

  • 是 Debian 11 / 12?
  • 单节点还是集群?
  • 是否要 生产环境 / 远程访问 / Docker?

我可以直接给你一份可直接用的配置。

0 踩