CentOS Kafka 集群搭建指南

CentOS Kafka 集群搭建指南

一环境准备与规划

二部署模式选择与准备

Kafka 支持两种元数据管理模式：
- ZooKeeper 模式：传统方式，Kafka 依赖外部或内置 ZooKeeper 管理元数据。
- KRaft 模式：自 Kafka 3.x 起可用，去除对 ZooKeeper 的依赖，部署与运维更简单。
注意：两种模式不能同时使用，请选择其一并保持一致。

三使用 ZooKeeper 模式部署

启动 ZooKeeper（内置或外部 ZooKeeper 均可）：
- 内置示例：
  - 启动 ZooKeeper：bin/zookeeper-server-start.sh config/zookeeper.properties
  - 启动 Broker：bin/kafka-server-start.sh config/server.properties
配置每个 Broker 的 server.properties（三台节点分别配置）：
- broker.id：每台唯一（如：1、2、3）
- listeners：建议绑定主机名或内网IP（如：PLAINTEXT://kafkaserver1:9092）
- log.dirs：数据目录（如：/var/lib/kafka/logs-1）
- zookeeper.connect：ZooKeeper 地址（如：kafkaserver1:2181,kafkaserver2:2181,kafkaserver3:2181）
创建测试主题并验证：
- 创建主题（复制因子建议与 Broker 数一致，示例为 3）：
  - bin/kafka-topics.sh --create --topic kafka-test --bootstrap-server kafkaserver1:9092 --partitions 3 --replication-factor 3
- 查看主题详情：
  - bin/kafka-topics.sh --describe --topic kafka-test --bootstrap-server kafkaserver1:9092
- 生产/消费测试：
  - 生产：bin/kafka-console-producer.sh --topic kafka-test --bootstrap-server kafkaserver1:9092
  - 消费：bin/kafka-console-consumer.sh --topic kafka-test --from-beginning --bootstrap-server kafkaserver1:9092

四使用 KRaft 模式部署（推荐）

生成集群 ID（任一节点执行一次即可）：
- KAFKA_CLUSTER_ID=“$(bin/kafka-storage.sh random-uuid)”
格式化日志目录（每个节点执行，使用同一 Cluster ID）：
- bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
启动 Kafka（每个节点）：
- bin/kafka-server-start.sh config/kraft/server.properties
创建测试主题并验证（与 ZK 模式相同）：
- 创建主题：bin/kafka-topics.sh --create --topic kafka-test --bootstrap-server kafkaserver1:9092 --partitions 3 --replication-factor 3
- 生产与消费测试：同上

五常用运维与安全加固

常用运维
- 后台启动：nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
- 优雅停止：bin/kafka-server-stop.sh
- 查看进程：jps（应能看到 Kafka 进程）
- 验证监听：ss -lntp | grep 9092 或 netstat -anp | grep 9092
安全加固（可选）
- 启用 SASL/PLAIN 认证：在 server.properties 中配置 listeners 为 SASL_PLAINTEXT，并在启动脚本中注入 JAAS 配置（KAFKA_OPTS），创建 JAAS 文件定义用户与口令，生产/消费脚本需配置对应安全参数。
- 防火墙与网络：仅开放必要端口（如 9092/2181），限制来源网段，避免暴露在公网。

最新问答