Linux Kafka集群搭建步骤解析

linux

小樊

2025-09-13 09:27:37

栏目: 智能运维

以下是在Linux上搭建Kafka集群的步骤解析：

环境准备：
- 服务器：准备3台及以上Linux服务器以实现高可用。
- 操作系统：推荐CentOS、Ubuntu等，确保系统更新。
- Java：安装JDK 8及以上版本，配置JAVA_HOME。
- 防火墙：开放Kafka（默认9092）和Zookeeper（默认2181）端口。
安装Zookeeper（Kafka 3.0以下版本需配置）：
- 下载解压：从官网下载并解压到指定目录，如/usr/local/zookeeper。
- 配置：编辑zoo.cfg，设置dataDir、clientPort，添加集群节点信息server.X。
- 创建myid文件：在dataDir下创建myid，内容为节点编号。
- 启动：在每个节点执行bin/zkServer.sh start。
安装Kafka：
- 下载解压：从官网下载并解压到指定目录，如/usr/local/kafka。
配置Kafka：
- 编辑配置文件：修改server.properties，设置broker.id（唯一）、listeners、log.dirs，若用Zookeeper还需设置zookeeper.connect；若用KRaft模式（Kafka 4.0+），配置controller.quorum.voters等。
启动Kafka集群：
- 启动服务：在每个节点执行bin/kafka-server-start.sh config/server.properties。
验证集群：
- 创建主题：使用kafka-topics.sh创建测试主题，指定副本数和分区数。
- 生产消费消息：通过kafka-console-producer.sh和kafka-console-consumer.sh测试消息收发。

最新问答