Ubuntu Hadoop 怎样进行升级
小樊
42
2025-12-12 21:15:16
Ubuntu 上 Hadoop 升级操作指南
一 升级方式与准备
- 升级方式通常有两种：
- 使用 APT 包管理 的发行版/厂商包（路径一般为 /etc/hadoop/，服务由系统管理）。
- 使用 Apache 官方二进制包（路径一般为 $HADOOP_HOME/，服务由 Hadoop 脚本管理）。
- 准备要点：
- 明确当前版本与目标版本，阅读对应版本的官方升级说明与变更日志（特别是废弃项与行为变更）。
- 完整备份关键数据与配置：包括 NameNode 元数据目录 dfs.namenode.name.dir、DataNode 数据目录 dfs.datanode.data.dir、以及 $HADOOP_HOME/etc/hadoop/ 下的配置文件。
- 规划维护窗口与回退方案，确保业务可短暂中断或可切换到备用集群。
- 确认 Java 版本 满足新版本要求，并统一集群节点的 Java 环境。
二 使用 APT 的升级步骤 Ubuntu
- 适用于通过 apt 安装 Hadoop 的场景（如发行版或厂商提供的包）。
- 操作步骤：
- 检查当前状态与版本
- 查看服务状态：
sudo systemctl status hadoop-<service>（按实际服务名）
- 查看版本：
hadoop version
- 备份配置与数据（见上节准备）
- 执行滚动或一次性升级（建议逐节点或按角色分批）
- 单节点/测试环境：
sudo apt-get update && sudo apt-get install --only-upgrade hadoop hadoop-hdfs hadoop-yarn hadoop-mapreduce ...
- 生产环境：逐台升级并观察，确保升级后服务可用再继续下一台
- 如采用系统服务管理，使用
systemctl 重启相关服务；如采用 Hadoop 脚本管理，使用 $HADOOP_HOME/sbin/start-*.sh 重启
- 验证与回退
- 验证：
hadoop version、关键作业/查询、集群 Web UI
- 异常：使用 APT 回退到上一版本
sudo apt-get install hadoop=<version> ...，并恢复备份配置
- 注意：升级时应同时升级该节点上的所有 Hadoop 相关角色包，避免版本不一致。
三 使用二进制包的升级步骤 Apache 官方版
- 适用于 $HADOOP_HOME 手工部署的场景（常见于 Apache 官方 tar 包）。
- 操作步骤：
- 检查与备份
hadoop version- 备份 dfs.namenode.name.dir、dfs.datanode.data.dir 与 etc/hadoop/ 配置
- 停止集群
$HADOOP_HOME/sbin/stop-yarn.sh$HADOOP_HOME/sbin/stop-dfs.sh
- 部署新版本
- 下载并解压新版本至临时目录，核对目录权限
- 将旧版的 etc/hadoop/ 配置按需合并到新版本（避免直接覆盖，保留自定义项）
- 更新环境变量（如 HADOOP_HOME、JAVA_HOME、PATH），建议先在测试环境验证
- 执行 HDFS 升级（跨版本时）
- 启动升级：
$HADOOP_HOME/sbin/start-dfs.sh -upgrade
- 查看进度：
hdfs dfsadmin -upgradeProgress status/details
- 如升级阻塞且确认安全：
hdfs dfsadmin -upgradeProgress force（谨慎使用）
- 验证与回退
- 验证：进程状态
jps、NameNode/DataNode Web UI、基本读写与作业
- 回退（如升级异常）：
$HADOOP_HOME/sbin/start-dfs.sh -rollback（仅当升级未最终化时可用）
- 完成升级
- 稳定运行一段时间后执行：
hdfs dfsadmin -finalizeUpgrade（将删除旧版本备份，之后不可回退）
- 说明：HDFS 跨版本会进行 元数据/数据格式升级，务必按升级流程执行并保留回退能力直至确认稳定。
四 升级后验证与常见问题
- 验证清单
- 版本与进程：
hadoop version、jps 检查 NameNode、DataNode、ResourceManager、NodeManager 等进程
- 服务连通：HDFS Web UI（默认 50070/9870）、YARN Web UI（默认 8088）
- 基本功能：HDFS 读写、YARN 提交示例作业、队列与资源是否正常
- 配置生效：检查 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 与新版本特性的一致性
- 常见问题与处理
- 配置不生效或路径错误：核对 HADOOP_HOME、JAVA_HOME、PATH 与配置文件路径（APT 常为 /etc/hadoop/，二进制常为 $HADOOP_HOME/etc/hadoop/）
- 启动失败：查看 $HADOOP_HOME/logs/ 下对应角色日志，优先定位端口占用、权限、目录权限与数据目录一致性
- 升级阻塞：使用
hdfs dfsadmin -upgradeProgress details 排查，必要时 force（风险高，务必评估）
- 回退需求：未执行
-finalizeUpgrade 前可用 -rollback；已 finalize 则只能从备份恢复数据并重装旧版本
- 包不一致：多节点需保持 Hadoop 组件版本一致，避免混合版本导致不可预期问题
