HDFS在CentOS上的版本升级与配置兼容性测试
一 升级前准备与兼容性评估
- 明确升级范围：仅升级 HDFS/Hadoop 版本，还是连同 CentOS 操作系统一起升级。两者路径不同，风险也不同。
- 基线信息采集：记录当前版本与运行状态（如 hdfs dfsadmin -report）、关键配置（如 core-site.xml、hdfs-site.xml）、JDK 版本、节点拓扑与数据规模。
- 备份与保护：对 NameNode 元数据目录（dfs.namenode.name.dir）、JournalNode 数据目录、**ZooKeeper 数据（如使用HA）**进行离线或快照备份；准备回滚方案。
- 兼容性核对：确认目标 Hadoop 3.x 与 JDK 8 的匹配，以及与 YARN、HBase、Hive、Spark 等组件的版本兼容矩阵；核对 CentOS 7/8 与目标 Hadoop 的适配性。
- 测试环境先行：在等价的测试集群复刻生产拓扑与数据量级，完成升级演练与回滚演练。
- 变更窗口与回滚预案：选择低峰时段，准备回滚到旧版本的安装包、配置与元数据备份。
二 HDFS版本升级路径与关键步骤
三 配置兼容性测试与验证
- 基础连通与功能验证
- 进程与连通性：使用 jps 确认 NameNode/DataNode 进程存在；hdfs dfsadmin -report 检查 Live Nodes 数量与容量。
- 基本操作：执行目录与文件操作（如 hdfs dfs -mkdir /test、hdfs dfs -put、hdfs dfs -get、hdfs dfs -ls），验证读写与权限。
- 配额与副本：创建目录设置配额，上传小文件验证 dfs.replication 生效与恢复逻辑。
- 升级专项验证
- 安全模式与元数据：验证 safemode 进入/退出、saveNamespace 与 -upgrade/-finalize 流程的可执行性与幂等性。
- 兼容性回归：重点回归与 YARN/HBase/Spark 的作业提交、Hive 读写、DistCp 跨版本复制、WebHDFS 访问等关键路径。
- 性能与稳定性测试
- 基准测试：使用 TestDFSIO 评估读写吞吐与IOPS（示例：写入 hadoop-mapreduce-client-jobclient--tests.jar TestDFSIO -write -nrFiles 10 -size 1GB；读取将 -write 换为 -read）。
- 综合基准：使用 HiBench 运行代表性工作负载，验证端到端性能与稳定性。
四 回滚与常见问题处理
- 回滚策略
- 元数据回滚：若升级失败或验证不通过，停止集群，恢复 NameNode 元数据目录 与 JournalNode 数据（或 ZK 元数据）至升级前备份，使用旧版本 Hadoop 启动；必要时执行 -rollback（如适用）。
- 配置回滚：恢复 core-site.xml、hdfs-site.xml 等至升级前版本；确保 JAVA_HOME 与系统库路径一致。
- 常见问题与要点
- 不要在新版本未验证前执行 -finalize；该操作会使升级不可逆。
- 避免误格式化 NameNode（会导致 NamespaceID 变化与数据不可达）；仅在首次部署或明确迁移场景执行。
- 升级期间保持 ZooKeeper（如使用HA）与网络稳定；检查 firewalld/iptables 与端口策略，确保节点互通。
- 严格控制 dfs.replication 与磁盘阈值，避免因副本不足或磁盘告警导致写入失败。
