Kafka中zookeeper的作用是什么

Kafka中ZooKeeper的传统作用（早期版本，2.8.0之前）
在Kafka早期版本中，ZooKeeper是核心分布式协调服务，承担着保障集群稳定、实现分布式协作的关键功能，具体包括：

1. 集群元数据管理

ZooKeeper作为集中式元数据存储中心，保存了Kafka集群的核心元数据：

• Broker信息：所有活跃Broker的ID、地址、端口及存活状态（通过临时节点注册）；
• Topic配置：Topic的分区数量、副本分布（ISR集合）、清理策略（如cleanup.policy）、保留时间（如retention.ms）等；
• 消费者组偏移量（旧版本）：消费者组的消费进度（如__consumer_offsets Topic的早期存储），用于记录每条消息的消费位置。
  这些元数据是Kafka集群运行的基础，Producer、Consumer及Broker均通过ZooKeeper获取最新元数据以完成数据生产与消费。

2. Controller选举与集群协调

Kafka集群中的Controller是负责管理分区Leader选举、副本同步及Broker上下线的关键角色。ZooKeeper通过临时节点机制确保Controller的唯一性：

• 当集群启动或现有Controller宕机时，多个Broker会竞争创建/controller临时节点，最终只有一个Broker成功，成为活跃Controller；
• Controller通过ZooKeeper监控Broker状态（如临时节点消失表示Broker宕机），并触发分区Leader重新选举（从ISR集合中选择新的Leader），保障数据高可用性。

3. Broker健康监测

ZooKeeper通过临时节点的心跳机制实时感知Broker状态：

• Broker启动时会在ZooKeeper中创建临时节点（如/brokers/ids/brokerId），并定期发送心跳；
• 若Broker宕机或网络断开，临时节点会在会话超时（默认2分钟）后被删除，ZooKeeper立即通知Controller，触发分区Leader重新分配及集群状态更新。

4. Topic配置与动态变更

ZooKeeper存储了Topic的动态配置信息（如分区数、副本因子），支持运行时修改：

• 管理员可通过kafka-topics.sh命令更新Topic配置（如--alter参数），变更信息会同步到ZooKeeper；
• Broker通过监听ZooKeeper中的配置路径（如/brokers/topics/topicName），实时获取最新配置并调整Topic状态，无需重启集群。

5. 消费者组管理与负载均衡

ZooKeeper协助Kafka实现消费者组的协调与负载均衡：

• 消费者组注册：消费者组启动时会在ZooKeeper中创建节点（如/consumers/groupName），记录组成员信息；
• 消费进度存储：消费者提交消费偏移量（Offset）到ZooKeeper（旧版本），确保重启后能从上次位置继续消费；
• Rebalance触发：当消费者加入或离开组时，ZooKeeper通知组内所有消费者，触发分区重新分配（基于Range或Round Robin策略），保障消费的负载均衡。

6. 分布式一致性保障

ZooKeeper通过ZAB协议（ZooKeeper Atomic Broadcast）实现强一致性，确保Kafka集群元数据变更的全局可见性：

• 所有元数据变更（如Topic创建、Broker加入）需通过ZooKeeper的写前日志（WAL）和原子广播机制同步到多数节点，保证数据一致性；
• Kafka组件通过ZooKeeper的Watch机制监听节点变化（如Broker状态、Topic配置），及时响应集群变更，避免脏数据。

注：从Kafka 2.8.0开始，官方推出KRaft模式（基于Raft共识算法），逐步替代ZooKeeper的部分功能（如元数据管理、Controller选举）。Kafka 3.0+版本已完全支持KRaft模式，无需依赖ZooKeeper，但旧版本仍需依赖ZooKeeper运行。