HDFS如何进行版本升级

HDFS版本升级实操指南

一升级方式与前置检查

方式选择
- 滚动升级：在HA集群中实现不停机升级，逐台升级NameNode与DataNode，依赖JournalNode与ZooKeeper保持可用。注意：JournalNode与ZooKeeper在大多数情况下无需升级，贸然升级可能导致停机。仅从Hadoop 2.4.0起支持滚动升级。
前置检查
- 完整备份关键数据与配置（如NameNode元数据目录、重要配置文件）。
- 使用hdfs dfsadmin -report检查集群健康与容量。
- 详细阅读目标版本的官方发行说明与升级指南，确认兼容性与不兼容变更。
- 如新版本启用了新特性，先评估并在需要时暂时关闭，升级后再启用。
- 建议在测试环境演练全流程。

二滚动升级步骤 HA非联邦集群

准备阶段
- 执行：hdfs dfsadmin -rollingUpgrade prepare，创建用于回滚的fsimage。
- 执行：hdfs dfsadmin -rollingUpgrade query，反复查询直至出现“Proceeding with Rolling Upgrade”。
升级 NameNode
- 选择当前Standby NameNode（如NN2）：关闭并升级；以滚动模式启动：namenode -rollingUpgrade started。
- 执行故障转移，使NN2变为Active，NN1变为Standby。
- 关闭并升级原Active NameNode（NN1），以滚动模式启动为Standby。
升级 DataNode
- 按“机架/机柜”等分组，每次选择一小批DataNode。
- 对每台节点执行：
  - 关闭并升级：hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> upgrade
  - 等待完全停止：hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>
  - 升级并重启该DataNode
- 逐批并行处理，直至全集群升级完成。
完成阶段
- 确认业务稳定后，执行：hdfs dfsadmin -rollingUpgrade finalize，结束滚动升级并清理回滚元数据。

三联邦集群与停机升级

联邦集群（HA）
- 对每个命名空间重复“准备 → 升级该命名空间的Active/Standby NN → 升级DataNode → 完成该命名空间”的流程。
非HA集群（需停机）
- 升级NameNode：先停SecondaryNameNode（SNN），再停并升级NameNode，以滚动模式启动；随后升级并重启SNN。
- DataNode仍可按批次滚动升级以减少业务中断窗口。

四降级与回滚

关键区别
- 降级：将软件还原到升级前版本，且保留用户数据；可在升级进行中滚动执行；要求升级前后NameNode与DataNode的布局版本均未变更。
- 回滚：将软件与用户数据均还原到升级前状态；只能在升级开始后、结束前执行；不支持滚动，需要停机。
滚动降级步骤（HA）
- 先按批次降级并重启所有DataNode。
- 再按“Standby → Active → Standby”的顺序降级两台NameNode，期间可故障转移保持服务可用。
- 完成后执行：hdfs dfsadmin -rollingUpgrade finalize。
回滚步骤（需停机）
- 停止所有NameNode与DataNode。
- 按官方流程使用回滚命令恢复至升级前版本与状态。

五常用命令与注意事项

常用命令
- 准备/查询：hdfs dfsadmin -rollingUpgrade prepare | query
- 关闭并升级DN：hdfs dfsadmin -shutdownDatanode host:IPC upgrade
- 查看DN状态：hdfs dfsadmin -getDatanodeInfo host:IPC
- NN滚动模式启动：namenode -rollingUpgrade started
- 完成升级：hdfs dfsadmin -rollingUpgrade finalize
注意事项
- 仅在HA集群中可实现真正不停机；JournalNode/ZooKeeper默认不升级，避免引入停机。
- 升级前确认兼容性；若新版本启用新特性，遵循“禁用 → 升级 → 启用”。
- 严格把握降级/回滚的窗口与条件；回滚不可滚动且需停机。
- 全流程在测试环境演练，升级中密切监控复制因子、块报告、延迟与错误日志。

最新问答