Debian Hadoop 怎样升级维护

Debian 上 Hadoop 的升级与维护实践

一 升级策略与准备

• 明确升级路径：区分小版本/补丁升级与跨大版本升级（如 2.x → 3.x），后者需严格按官方升级指南执行并优先在测试环境验证。
• 检查兼容性：确认与生态组件（如 HBase、Hive、Spark、ZooKeeper）的版本兼容矩阵，必要时先升级依赖组件或调整版本。
• 备份关键数据：完整备份 NameNode 元数据目录（dfs.name.dir）、DataNode 数据目录（dfs.data.dir）、JournalNode 日志目录及所有配置文件；导出 HDFS 目录清单与 fsck 健康报告以便核对。
• 系统与安全基线：在 Debian 上先更新系统与安全补丁（见下文“系统与安全维护”），避免底层库变化影响 Hadoop。
• 选择升级方式：能采用滚动升级尽量滚动，降低停机时间；若版本不支持，采用停机升级并安排维护窗口。
• 变更留痕：记录当前 Hadoop 版本、配置参数、SLA、业务依赖，便于回滚与复盘。

二 停机升级步骤（适用于小版本或跨大版本）

1. 停止业务与集群
   • 停止 MapReduce/Spark/YARN 作业，停用依赖服务（如 HBase/ZooKeeper），再依次停止 HDFS/YARN 守护进程。
2. 备份与校验
   • 备份 dfs.name.dir/dfs.data.dir、配置文件；执行 hdfs dfs -lsr / 与 hdfs fsck / 导出清单与健康报告，留作升级后比对。
3. 部署新版本
   • 下载并解压新版本至目标目录，按新版本要求调整目录结构与配置路径（如 HADOOP_CONF_DIR 在 2.x 起为 $HADOOP_HOME/etc/hadoop）。
4. 执行升级
   • 仅启动 NameNode 并执行升级：如 sbin/hadoop-daemon.sh start namenode -upgrade（或 systemd 等效方式）；观察 namenode.log 直至无 “old layout version” 报错。
5. 启动与回滚点检查
   • 启动 DataNode 等其余服务；通过 hdfs dfsadmin -upgradeProgress status 查看进度，必要时用 -upgradeProgress force 谨慎推进（风险操作）。
6. 健康检查与回滚窗口
   • 运行 hdfs fsck -blocks 与 hdfs dfsadmin -report 校验数据块与集群健康；若异常且仍需回滚，按官方流程执行回滚（升级未完成前保留回滚能力）。
7. 定版清理
   • 业务验证通过后执行 hdfs dfsadmin -finalizeUpgrade 完成定版并清理旧版本元数据；注意定版后将无法回滚。
8. 业务恢复与验证
   • 逐步恢复作业，回归日常监控与基线测试。

三 滚动升级要点（Hadoop 2.x/3.x 且组件支持时）

• 前置条件：确认 HDFS HA（QJM/JournalNode）、YARN HA 已启用，且各组件版本支持滚动升级。
• 按序执行：通常顺序为 ZooKeeper → JournalNode → NameNode（滚动）→ DataNode → ResourceManager（滚动）→ NodeManager → 历史服务/网关。
• 升级协调：逐台节点升级并短暂停机切换，在每一步进行健康检查与数据/服务校验，确保不影响线上作业。
• 监控与回滚：全程监控 NameNode/DataNode/ResourceManager 日志与健康指标，任一环节异常立即暂停并按预案回滚。

四 日常维护与安全加固

• 系统与基础环境
  • 定期执行 sudo apt update && sudo apt upgrade，必要时 sudo apt full-upgrade；清理无用包与缓存（apt autoremove、apt clean）。
  • 仅获取安全补丁时，可限定安全源更新：
    • grep security /etc/apt/sources.list | tee /etc/apt/security.sources.list
    • apt-get update
    • apt-get upgrade -o Dir::Etc::SourceList=/etc/apt/security.sources.list
• 配置与性能
  • 持续维护 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 等关键配置；结合负载调优 NameNode 堆内存、心跳并发、Map/Reduce 任务数、中间数据压缩 等。
• 监控与告警
  • 利用 NameNode/ResourceManager UI、Ganglia、Ambari/Cloudera Manager 建立监控与阈值告警，覆盖 HDFS 容量、块丢失、节点健康、作业失败 等关键指标。
• 备份与灾备
  • 定期备份 NameNode 元数据 与关键配置，验证备份可恢复性；建立 跨机房/跨域灾备 策略与演练计划。
• 安全合规
  • 启用 防火墙/安全组、Kerberos 认证、HTTPS/ACL，最小化暴露面；及时修补 Hadoop 与 OS 漏洞（如 YARN ResourceManager 8088 等历史漏洞，升级到修复版本并验证）。

五 验证与回滚清单

• 升级后验证
  • 服务状态：jps、hdfs dfsadmin -report、yarn node -list 正常；
  • 数据健康：hdfs fsck / 全量通过、hdfs dfsadmin -upgradeProgress status 显示完成；
  • 业务回归：运行样例作业/关键业务流，核对 SLA/延迟/吞吐 与基线一致。
• 回滚条件与路径
  • 升级未完成（仍在 -upgrade 阶段）可直接回滚；
  • 已定版（执行 -finalizeUpgrade）后不可回滚，需从备份恢复；
  • 回滚流程要点：恢复旧版本二进制与配置，确保 dfs.name.dir/dfs.data.dir 指向旧数据，按官方流程启动并校验。