Linux环境中Hadoop怎样进行版本升级

一、升级前准备

1. 备份关键数据与配置：备份HDFS元数据（dfs.namenode.dir目录）、HDFS数据目录及所有配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml等），防止升级过程中数据丢失。
2. 查阅新版本文档：了解新版本的改进、变更（如配置项调整、废弃功能）及升级注意事项，确保兼容性。
3. 检查依赖项：确认系统已安装新版本Hadoop所需的Java版本（如Hadoop 3.x通常需要Java 8或11）及其他依赖库（如protobuf），避免因依赖问题导致升级失败。
4. 测试环境验证：在小型测试集群上模拟升级流程，熟悉操作步骤并验证新版本的兼容性，降低生产环境风险。

二、具体升级步骤

1. 停止Hadoop服务：在升级前停止所有Hadoop服务，避免数据损坏。常用命令：
   • 单机模式：./sbin/stop-all.sh
   • 集群模式：分别停止HDFS（./sbin/stop-dfs.sh）和YARN（./sbin/stop-yarn.sh）。
2. 下载并解压新版本：从Apache Hadoop官网下载目标版本的安装包（如hadoop-3.3.6.tar.gz），解压至指定目录（如/usr/local/）：

   wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
   tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/
   

3. 替换与备份旧版本：将旧版本Hadoop目录重命名（如hadoop-old）作为备份，将新版本目录重命名为hadoop：

   mv /usr/local/hadoop /usr/local/hadoop-old
   mv /usr/local/hadoop-3.3.6 /usr/local/hadoop
   

4. 更新配置文件：将旧版本的配置文件（etc/hadoop/目录下）复制到新版本的对应目录，检查并修改以下关键配置：
   • core-site.xml：更新fs.defaultFS（HDFS地址）、hadoop.tmp.dir（临时目录）等路径；
   • hdfs-site.xml：调整dfs.namenode.name.dir（NameNode元数据目录）、dfs.datanode.data.dir（DataNode数据目录）等路径；
   • yarn-site.xml：配置ResourceManager（yarn.resourcemanager.hostname）和NodeManager参数。
5. 更新环境变量：编辑~/.bashrc（或/etc/profile），更新HADOOP_HOME指向新版本目录，并添加$HADOOP_HOME/bin、$HADOOP_HOME/sbin到PATH：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   使配置生效：source ~/.bashrc。
6. 启动Hadoop并执行升级：
   • 启动HDFS：./sbin/start-dfs.sh；
   • 执行升级命令（告知Hadoop切换文件格式）：./bin/start-dfs.sh -upgrade；
   • 检查升级进度：./bin/hadoop dfsadmin -upgradeProgress status（或details查看详细信息）。
7. 验证升级结果：
   • 检查HDFS状态：hdfs dfs -ls /（查看根目录是否正常）；
   • 检查YARN状态：yarn application -list（查看是否有任务运行）；
   • 查看守护进程：jps（确认NameNode、DataNode、ResourceManager、NodeManager等进程正常）。

三、后续操作

1. 完成升级：若升级后运行稳定（通常建议观察3-7天），执行finalizeUpgrade命令删除旧版本备份，释放存储空间：

   ./bin/hadoop dfsadmin -finalizeUpgrade
   

2. 回滚计划（可选）：若升级后出现问题，可通过rollback命令回退到旧版本（仅能在finalizeUpgrade前执行）：

   ./bin/start-dfs.sh -rollback
   

   注意：finalizeUpgrade后旧版本备份会被删除，回滚功能失效。