Debian Hadoop 集群维护注意事项有哪些

Debian Hadoop 集群维护注意事项

一 高可用与故障转移

• 为 HDFS 配置 NameNode HA：部署 Active/Standby 双主，借助 ZooKeeper 与 ZKFailoverController（ZKFC） 实现自动故障转移，并通过隔离（fencing）机制避免脑裂。
• 使用 QJM（Quorum Journal Manager）/JournalNode 管理编辑日志，确保 fsimage 与 edits 的一致与可恢复。
• 为 YARN 配置 ResourceManager HA，同样依赖 ZooKeeper 完成主备切换；NodeManager 负责单节点资源上报与容器管理。
• 定期演练故障转移流程，验证 ZK、JournalNode、ZKFC、主备服务状态切换是否符合预期。

二 监控 告警与日常巡检

• 利用 NameNode UI、ResourceManager UI 观察集群健康、节点与作业状态；结合 Ambari/Cloudera Manager/Ganglia 做可视化与指标长期留存。
• 建立多通道告警（如邮件/短信/IM），覆盖 HDFS 容量、NameNode/DataNode 存活、YARN 资源使用、磁盘/网络异常等关键指标。
• 日常巡检清单：
  • 进程：用 jps 确认 NameNode、DataNode、ResourceManager、NodeManager 等进程存活。
  • 存储：用 hdfs dfsadmin -report 与 hdfs fsck / 检查块健康与容量使用。
  • 资源：用 yarn node -list、yarn top 查看节点与应用资源。
  • 系统：用 top/vmstat/iostat、dmesg、/var/log/syslog 排查 CPU、内存、磁盘 I/O 与内核异常。

三 升级与变更管理

• 变更前：对 HDFS 元数据与重要数据、配置文件进行完整备份，准备回滚方案；优先在测试环境验证。
• Debian 系统升级：按顺序执行 apt update → apt upgrade → apt full-upgrade → apt autoremove → apt clean；跨版本升级需调整 APT 源并检查保留包（hold）、网络与磁盘空间。
• Hadoop 升级：
  • 选择升级路径：HDFS 支持 Express 与 RollingUpgrade；生产环境优先 RollingUpgrade 以降低停机影响。
  • 按版本差异调整 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 等配置；完成升级后滚动重启并持续监控。
  • 回滚策略：RollingUpgrade 支持 Rollback 与 RollingDowngrade，按数据一致性与业务窗口选择。

四 性能与容量管理

• HDFS 调优：根据元数据规模调整 NameNode 堆内存；合理设置 心跳/超时 与 副本放置策略，避免单点拥塞与热点。
• YARN 资源管理：在 yarn-site.xml 中校准 yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores 与容器配额，提升调度效率与稳定性。
• MapReduce/Tez/Spark：合理设置 map/reduce 任务数、中间数据压缩（如 Snappy/LZO），降低 I/O 与网络开销。
• 容量与增长：监控 HDFS 使用率 与 DataNode 磁盘 余量，结合业务增长规划 扩容 与 Balancer 策略。

五 安全 备份与常见故障定位

• 安全加固：启用 Kerberos 认证，按最小权限配置 HDFS/YARN 访问控制；通过 防火墙（UFW/iptables） 限制 RPC、HTTP、DataNode 数据传输 等端口访问。
• 备份与灾备：制定 定期快照/增量备份 与 异地容灾 方案；对 NameNode 元数据 与关键配置做离线/异地备份。
• 常见故障定位路径：
  • 日志优先：查看 $HADOOP_HOME/logs 中 NameNode/DataNode/ResourceManager/NodeManager 的 WARN/ERROR。
  • 连通与端口：用 ping、ss -lntp、netstat -s 检查节点互通与端口监听；关注 retrans、errors/dropped。
  • 慢盘/慢网络：若出现 Slow ReadProcessor/Slow BlockReceiver 等 WARN，用 iostat -x、dmesg、smartctl 排查磁盘；对比 ifconfig -a 的 errors/dropped 与 netstat -s 的 retrans 排查网络。
  • 配置核对：复核 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 的地址、端口与路径一致性。