Ubuntu Kafka如何升级版本

Ubuntu Kafka版本升级步骤

1. 升级前准备

备份关键数据：备份Kafka的所有重要数据（如log.dirs指定的日志目录）和配置文件（如config/server.properties、config/zookeeper.properties），防止升级过程中数据丢失或配置错误。
检查兼容性：阅读新版本Kafka的发行说明，确认其与当前系统环境（如Java版本，Kafka通常要求Java 8或更高）、ZooKeeper版本（如Kafka 3.x需兼容ZooKeeper 3.5.x及以上）及其他依赖项的兼容性。
停止现有服务：停止当前运行的Kafka和Zookeeper服务（若使用Kafka自带ZooKeeper），避免升级时数据不一致：
```
sudo bin/kafka-server-stop.sh config/server.properties
sudo bin/zookeeper-server-stop.sh config/zookeeper.properties
```

2. 卸载旧版本（可选）

若旧版本是通过apt安装的，可使用以下命令彻底卸载（避免残留文件冲突）：

sudo apt-get remove --purge kafka

若为手动安装（如解压tar.gz包），直接删除旧版本目录即可：

sudo rm -rf /usr/local/kafka  # 替换为旧版本实际安装路径

3. 下载并解压新版本

访问Apache Kafka官方下载页面（https://downloads.apache.org/kafka/），选择目标版本（如3.5.2），下载对应tar.gz包（如kafka_2.12-3.5.2.tgz），然后解压到指定目录（如/opt）：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzvf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2

4. 配置新版本

进入新版本Kafka目录，复制并修改配置文件（以server.properties为例）：

cp config/server.properties config/server.properties.old  # 备份旧配置
nano config/server.properties

重点检查以下配置项，确保适配新版本要求：

broker.id：集群中唯一标识，无需修改除非新增节点；
listeners：Broker监听地址（如PLAINTEXT://your_server_ip:9092）；
advertised.listeners：客户端连接的Broker地址（若集群跨网络，需设置为公网IP或域名）；
zookeeper.connect：ZooKeeper集群地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181）；
log.dirs：日志存储目录（确保目录存在且有写入权限）。

5. 启动新版本服务

启动ZooKeeper（若使用独立ZooKeeper集群，需先启动集群）和新版本Kafka：

# 启动ZooKeeper（自带ZooKeeper）
bin/zookeeper-server-start.sh config/zookeeper.properties &

# 启动Kafka
bin/kafka-server-start.sh config/server.properties &

使用ps -ef | grep kafka和ps -ef | grep zookeeper命令确认服务进程是否正常运行。

6. 验证升级结果

检查Kafka版本：通过Kafka命令行工具查看版本信息，确认升级成功：
```
bin/kafka-topics.sh --version
```
输出应包含新版本号（如3.5.2）。

测试Topic操作：创建测试Topic并发送/接收消息，验证功能正常：

# 创建Topic（replication-factor根据集群节点数调整，单节点设为1）
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_upgrade

# 发送测试消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test_upgrade

# 消费测试消息（新版本推荐使用--bootstrap-server替代--zookeeper）
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_upgrade --from-beginning

7. 清理旧版本（可选）

若升级成功且运行稳定，可清理旧版本的安装目录和备份配置文件（如config/server.properties.old），释放磁盘空间。

注意事项

滚动升级：若为集群环境，建议采用滚动升级方式（逐个节点升级），减少服务中断时间。
数据迁移：若旧版本数据格式与新版本不兼容（如Kafka 2.x升级到3.x的消息格式变更），需使用kafka-mirror-maker或kafka-consumer-groups等工具迁移数据。
监控与回滚：升级后密切监控Kafka集群的性能指标（如吞吐量、延迟、分区Leader分布），若出现问题，可通过备份数据恢复旧版本。