温馨提示×

Kafka在Ubuntu如何配置

小樊
41
2026-08-02 16:43:19
栏目: 智能运维

下面分 单机(开发/测试)集群(生产) 两种常见场景,说明 Kafka 在 Ubuntu 上的配置步骤。以 Kafka 3.x + Ubuntu 20.04/22.04 为例。


一、前置条件

1. 安装 Java(必须)

Kafka 依赖 JVM:

sudo apt update
sudo apt install openjdk-11-jdk -y

验证:

java -version

二、下载并安装 Kafka

1. 下载 Kafka

去官网或镜像下载(以 3.6.1 为例):

cd /opt
sudo wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
sudo tar -xzf kafka_2.13-3.6.1.tgz
sudo mv kafka_2.13-3.6.1 kafka

三、单机模式(最常用,开发/测试)

1. 启动 Zookeeper(Kafka 内置)

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

新版本 Kafka 已逐步去 Zookeeper,但仍可用


2. 启动 Kafka Broker

新开一个终端:

cd /opt/kafka
bin/kafka-server-start.sh config/server.properties

看到:

[KafkaServer id=0] started

说明启动成功。


3. 测试 Kafka 是否可用

创建 Topic

bin/kafka-topics.sh \
--create \
--topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

发送消息

bin/kafka-console-producer.sh \
--topic test-topic \
--bootstrap-server localhost:9092

消费消息

bin/kafka-console-consumer.sh \
--topic test-topic \
--from-beginning \
--bootstrap-server localhost:9092

四、常用配置修改(重点)

1. Kafka 配置文件

路径:

/opt/kafka/config/server.properties

2. 常用参数说明

参数 说明
broker.id 节点 ID,集群中唯一
listeners 监听地址
log.dirs 数据目录
zookeeper.connect Zookeeper 地址
num.partitions 默认分区数

示例修改(允许远程访问)

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092

五、配置为系统服务(推荐)

1. 创建 Zookeeper 服务

sudo nano /etc/systemd/system/zookeeper.service
[Unit]
Description=Zookeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

2. 创建 Kafka 服务

sudo nano /etc/systemd/system/kafka.service
[Unit]
Description=Kafka
After=zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

3. 启动服务

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

sudo systemctl enable zookeeper
sudo systemctl enable kafka

六、集群模式(简要)

在三台机器上:

broker.id=1   # 每台不同
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

七、常见问题

1. 端口被占用

netstat -tunlp | grep 9092

2. Kafka 启动慢

  • 检查 /tmp 权限
  • 磁盘 IO

3. 无法远程连接

  • 检查 advertised.listeners
  • 防火墙:
sudo ufw allow 9092

八、总结

✅ Ubuntu 上 Kafka 基本流程:

  1. 安装 Java
  2. 下载 Kafka
  3. 启动 Zookeeper
  4. 启动 Kafka
  5. 配置 server.properties
  6. 配置 systemd 服务

如果你需要:

  • KRaft 模式(无 Zookeeper)
  • 生产环境参数调优
  • Docker / Kubernetes 部署
  • 安全认证(SASL/SSL)

可以直接告诉我你的使用场景。

0