Debian系统下Kafka集群管理方法

Debian系统下Kafka集群管理方法

一 架构与运行模式

• 运行模式选择
  • KRaft 模式（推荐）：Kafka 3.x 起原生支持，不再依赖 ZooKeeper；通过 node.id 与 controller.quorum.voters 管理元数据与控制平面，部署与运维更简单。适合生产环境。
  • ZooKeeper 模式：传统模式，需额外部署 ZooKeeper 集群（至少 3 节点），通过 zookeeper.connect 连接；适合存量或兼容性要求场景。
• 版本与 Java
  • Kafka 3.5+ 建议使用 OpenJDK 11 或 JDK 17，以获得更好的兼容性与性能。
• 端口规划
  • 客户端通信：9092
  • KRaft 控制器通信：9093
  • 如仍用 ZooKeeper：2181（客户端）、2888/3888（集群内部通信）。

二 部署与初始化

• 准备环境
  • 安装 Java：sudo apt update && sudo apt install -y openjdk-11-jdk
  • 创建数据目录：sudo mkdir -p /data/kafka && sudo chown -R $(whoami):$(whoami) /data/kafka
  • 配置主机名解析（示例）：编辑 /etc/hosts

    192.168.112.10 data-vm1
    192.168.112.130 data-vm2
    192.168.112.129 data-vm3
    

• KRaft 模式（三节点示例）
  • 下载并解压 Kafka 至 /usr/local/kafka
  • 各节点 server.properties 关键差异：

    # 节点1：data-vm1
    node.id=1
    process.roles=broker,controller
    listeners=PLAINTEXT://:9092,CONTROLLER://:9093
    advertised.listeners=PLAINTEXT://data-vm1:9092
    controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
    log.dirs=/data/kafka
    num.partitions=3
    offsets.topic.replication.factor=3
    transaction.state.log.replication.factor=3
    transaction.state.log.min.isr=1,2,3
    

    节点2/3 将 node.id 与 advertised.listeners 改为各自主机名即可。
  • 首次初始化（仅一次，任选一节点执行）：

    cd /usr/local/kafka
    ./bin/kafka-storage.sh format -t $(./bin/kafka-storage.sh random-uuid) -c config/server.properties
    

  • 启动集群（各节点）：

    ./bin/kafka-server-start.sh -daemon config/server.properties
    

• ZooKeeper 模式（简要）
  • 部署 ZooKeeper 3.7+ 集群（server.1/2/3，端口 2181/2888/3888）
  • 各 Broker 配置：

    broker.id=<唯一ID>
    listeners=PLAINTEXT://:9092
    advertised.listeners=PLAINTEXT://<本机IP或FQDN>:9092
    zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
    log.dirs=/data/kafka
    

  • 启动顺序：先 ZooKeeper，再各 Broker。

三 日常运维与常用命令

• 主题与分区
  • 创建主题（KRaft 使用 --bootstrap-server；ZooKeeper 可用 --zookeeper）：

    ./bin/kafka-topics.sh --create \
      --topic my-topic \
      --bootstrap-server data-vm1:9092,data-vm2:9092,data-vm3:9092 \
      --partitions 3 --replication-factor 3
    

  • 查看与变更：

    ./bin/kafka-topics.sh --list --bootstrap-server data-vm1:9092
    ./bin/kafka-topics.sh --describe --topic my-topic --bootstrap-server data-vm1:9092
    # 扩容分区（示例）
    ./bin/kafka-topics.sh --alter --topic my-topic --partitions 6 --bootstrap-server data-vm1:9092
    

• 生产消费与验证

  # 生产
  ./bin/kafka-console-producer.sh --bootstrap-server data-vm1:9092 --topic my-topic
  
  # 消费（从头）
  ./bin/kafka-console-consumer.sh --bootstrap-server data-vm1:9092 --topic my-topic --from-beginning
  

• 消费者组

  # 查看消费组
  ./bin/kafka-consumer-groups.sh --bootstrap-server data-vm1:9092 --list
  
  # 查看消费滞后
  ./bin/kafka-consumer-groups.sh --bootstrap-server data-vm1:9092 \
    --describe --group my-consumer-group
  

• 配置管理
  • 动态更新（无需重启）：

    ./bin/kafka-configs.sh --bootstrap-server data-vm1:9092 \
      --alter --entity-type broker --entity-name <broker.id> \
      --add-config retention.ms=604800000
    

  • 持久化配置建议写入 server.properties 并滚动重启以统一基线。

四 监控与故障排查

• 基础健康检查
  • 进程与端口：

    jps -l | grep Kafka
    ss -lntp | grep -E ':(9092|9093|2181)'
    

  • 元数据与存储：

    # KRaft 元数据快照检查
    ./bin/kafka-metadata-shell.sh --snapshot /data/kafka/logs/__cluster_metadata-0/00000000000000000000
    

• 日志与告警
  • 日志路径：安装目录下的 logs/ 与 log.dirs 指定目录；关注 ERROR/WARN 与 GC 日志。
  • 建议接入 Prometheus + Grafana 或 Confluent Control Center 做指标与可视化监控。
• 常见问题速查
  • 节点无法加入集群：核对 node.id 唯一、controller.quorum.voters 一致、主机名可解析、端口 9093 互通。
  • 客户端连不通：核对 advertised.listeners 为客户端可达地址；跨机房需使用可路由的 IP/FQDN。
  • 副本不同步：检查 min.insync.replicas、磁盘 I/O、网络延迟；必要时扩容分区或 Broker。
  • 磁盘告警：配置合理的 log.retention.hours/bytes 与 log.cleanup.policy。

五 安全与高可用建议

• 安全加固
  • 启用 SSL/TLS 加密通信，配置 SASL/PLAIN 或 SASL/SCRAM 认证，开启 ACL 授权；对外暴露最小必要端口。
• 高可用与容量
  • 建议 3 个以上 Broker；关键内部主题（如 __consumer_offsets、事务日志）副本数 ≥3，min.insync.replicas=2；默认分区数与副本数与节点数匹配。
• 网络与防火墙
  • 开放 9092/9093（KRaft）或 2181/2888/3888（ZooKeeper）；跨节点通信需稳定低时延网络。
• 备份与演练
  • 定期备份关键配置与主题数据；进行 Broker 滚动升级 与 故障切换演练，验证 ISR、Leader 均衡与恢复时间。