Debian中Kafka怎样设置

在 Debian 系统中部署和配置 Apache Kafka，通常包含 安装、基础配置、系统服务化、常用参数调优 几个部分。下面给你一个从零开始的实用指南（以 Kafka 3.x + 自带 Zookeeper 为例，适用于 Debian 11/12）。

一、环境准备

1. 安装 Java（Kafka 依赖）

sudo apt update
sudo apt install -y openjdk-17-jdk
java -version

Kafka 3.x 推荐 Java 11 或 17

二、下载并安装 Kafka

cd /opt
sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -xzf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka

三、基础配置

1. Zookeeper 配置（默认即可）

/opt/kafka/config/zookeeper.properties

常用参数：

dataDir=/var/lib/zookeeper
clientPort=2181

创建数据目录：

sudo mkdir -p /var/lib/zookeeper

2. Kafka 核心配置

编辑：

sudo nano /opt/kafka/config/server.properties

最关键的几项：

# 唯一 ID（集群中不能重复）
broker.id=0

# 监听地址（重要！）
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://你的IP:9092

# 日志（消息）存储目录
log.dirs=/var/lib/kafka-logs

# Zookeeper 地址
zookeeper.connect=localhost:2181

# 单节点可不改
num.partitions=1
default.replication.factor=1

创建日志目录：

sudo mkdir -p /var/lib/kafka-logs

四、启动 Kafka（测试用）

1. 启动 Zookeeper

/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

2. 启动 Kafka

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

查看进程：

jps

五、设置为 systemd 服务（推荐）

1. Zookeeper 服务

sudo nano /etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. Kafka 服务

sudo nano /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启用服务

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

六、基本使用验证

创建 Topic

/opt/kafka/bin/kafka-topics.sh \
--create --topic test \
--bootstrap-server localhost:9092 \
--partitions 1 --replication-factor 1

查看 Topic

/opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

生产消息

/opt/kafka/bin/kafka-console-producer.sh \
--topic test --bootstrap-server localhost:9092

消费消息

/opt/kafka/bin/kafka-console-consumer.sh \
--topic test --from-beginning --bootstrap-server localhost:9092

七、常见配置优化（生产建议）

# 提高吞吐量
num.network.threads=8
num.io.threads=8

# 日志保留时间
log.retention.hours=168

# 单日志段大小
log.segment.bytes=1073741824

# 自动创建 topic
auto.create.topics.enable=false

八、防火墙（如有）

sudo ufw allow 9092
sudo ufw allow 2181

如果你需要：

• Kafka 集群配置
• KRaft 模式（无 Zookeeper）
• Debian + Docker 部署
• 安全认证（SASL/SSL）

告诉我你的使用场景，我可以给你更针对性的配置。