Kafka主题分区在Linux上的管理

在Linux上管理Kafka主题分区主要通过命令行工具实现，核心操作如下：

1. 创建主题并指定分区数

使用kafka-topics.sh脚本，通过--partitions参数指定分区数（需提前启动ZooKeeper和Kafka服务）：

./kafka-topics.sh --create --bootstrap-server localhost:9092 --topic my_topic --partitions 3 --replication-factor 1

--partitions：设置分区数（正整数）。
--replication-factor：设置副本数（通常≤Broker节点数）。

2. 查看主题分区信息

通过--describe参数查看主题的详细分区信息，包括分区数、副本分配等：

./kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my_topic

输出示例：

Topic: my_topic PartitionCount: 3 ReplicationFactor: 1  
Partition: 0 Leader: 0 Replicas: 0 Isr: 0  
Partition: 1 Leader: 0 Replicas: 0 Isr: 0  
Partition: 2 Leader: 0 Replicas: 0 Isr: 0

3. 增加分区数

Kafka仅支持增加分区数（无法直接减少），使用--alter参数：

./kafka-topics.sh --alter --bootstrap-server localhost:9092 --topic my_topic --partitions 5

增加后，新分区会自动分配副本并开始接收消息。

4. 删除主题（彻底清除分区）

使用--delete参数删除主题（不可逆操作，会清除所有数据）：

./kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic my_topic

需确保Kafka服务已停止，或使用--zookeeper参数指定ZooKeeper地址（旧版本）。

5. 分区策略配置

默认策略：按消息Key的哈希值分配（相同Key进入同一分区），保证顺序性。
轮询策略：消息均匀分配到所有分区，适用于无Key的场景。
自定义策略：需实现Partitioner接口，通过配置partitioner.class指定。

注意事项

副本数限制：副本数不能超过集群中Broker节点数，否则创建失败。
数据一致性：增加分区时，已有数据不会重新分配，仅新消息进入新分区。
权限问题：若提示权限不足，可添加sudo或修改脚本权限（chmod +x kafka-topics.sh）。

以上操作均基于Kafka自带的命令行工具，无需额外开发，适用于快速管理分区。如需更复杂的策略（如自定义分区逻辑），需结合Java客户端或Kafka Streams等工具实现。