Kafka在Linux如何配置

下面以 Linux 环境下安装和配置 Apache Kafka 为例，给你一个从零到可用的最小实践步骤（适合学习、开发和测试环境）。生产环境还需做安全性、稳定性、监控等增强。

一、前置条件

Kafka 依赖 Java，需先安装 JDK。

java -version

若未安装，推荐安装 OpenJDK 8 或 11：

# CentOS / Rocky / Alma
sudo yum install -y java-11-openjdk

# Ubuntu / Debian
sudo apt install -y openjdk-11-jdk

二、下载并解压 Kafka

以 Kafka 3.6.x 为例：

cd /opt
sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -zxvf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka

三、Kafka 目录结构说明

/opt/kafka
├── bin/        # 启动脚本
├── config/     # 配置文件
├── logs/       # 日志
└── libs/       # 依赖包

关键配置文件：

server.properties
zookeeper.properties

四、配置 Zookeeper（Kafka 3.3 之前必需）

Kafka 新版支持 KRaft（无 Zookeeper），生产环境推荐，下面先给 Zookeeper 方式。

1️⃣ Zookeeper 配置文件

vim /opt/kafka/config/zookeeper.properties

最小配置示例：

dataDir=/opt/kafka/zookeeper-data
clientPort=2181

2️⃣ 启动 Zookeeper

/opt/kafka/bin/zookeeper-server-start.sh \
/opt/kafka/config/zookeeper.properties

后台运行：

nohup /opt/kafka/bin/zookeeper-server-start.sh \
/opt/kafka/config/zookeeper.properties > zookeeper.log 2>&1 &

五、配置 Kafka Server

1️⃣ 编辑 server.properties

vim /opt/kafka/config/server.properties

关键配置项（重点）：

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=localhost:2181
num.partitions=3

若为 多节点集群：

broker.id=1
listeners=PLAINTEXT://192.168.1.10:9092
zookeeper.connect=zk1:2181,zk2:2181

2️⃣ 启动 Kafka

/opt/kafka/bin/kafka-server-start.sh \
/opt/kafka/config/server.properties

后台启动：

nohup /opt/kafka/bin/kafka-server-start.sh \
/opt/kafka/config/server.properties > kafka.log 2>&1 &

六、验证 Kafka 是否成功

1️⃣ 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
--create \
--topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 3 \
--replication-factor 1

2️⃣ 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
--list \
--bootstrap-server localhost:9092

3️⃣ 发送消息

/opt/kafka/bin/kafka-console-producer.sh \
--topic test-topic \
--bootstrap-server localhost:9092

4️⃣ 消费消息

/opt/kafka/bin/kafka-console-consumer.sh \
--topic test-topic \
--bootstrap-server localhost:9092 \
--from-beginning

七、Kafka 常用 Linux 配置优化（生产建议）

1️⃣ JVM 参数

export KAFKA_HEAP_OPTS="-Xms2G -Xmx2G"

2️⃣ Linux 系统参数

# 增加文件描述符
ulimit -n 100000

# 禁止 swap
swapoff -a

3️⃣ 防火墙

# 开放 9092
firewall-cmd --add-port=9092/tcp --permanent
firewall-cmd --reload

八、Kafka 3.x 无 Zookeeper（KRaft）方式（可选）

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

初始化：

kafka-storage.sh format -t $(kafka-storage.sh random-uuid)

九、常见问题

问题	原因
9092 端口无法访问	listeners 配置错误
broker.id 冲突	多节点重复
启动失败	Java 未安装或版本不兼容

如果你愿意，我可以帮你：

✅ 写一份完整生产级 Kafka 集群配置
✅ KRaft 模式完整示例
✅ Kafka + systemd 自动启动
✅ Kafka 在 Docker / K8s 中部署

你可以直接告诉我你的 Linux 版本 + 单机还是集群。