如何解决 Debian Hadoop 集群故障

Debian Hadoop 集群故障排查与修复

一、快速定位流程

• 查看组件进程：在各节点执行 jps，核对 NameNode、DataNode、ResourceManager、NodeManager 是否存在且数量正确。
• 实时查日志：在 HADOOP_HOME/logs 下用 tail -f 或 grep “ERROR” 定位异常堆栈与时间点。
• 连通性验证：节点间 ping 测试；必要时检查端口可达性（如 netstat -tpnl | grep 9000）。
• 配置核对：重点检查 core-site.xml、hdfs-site.xml、mapred-site.xml/yarn-site.xml 的地址、端口与副本等参数。
• Web UI 巡检：访问 NameNode UI：http://:9870、ResourceManager UI：http://:8088 查看节点健康与任务状态。
• 系统层面：用 top、vmstat、iostat 排查 CPU/内存/磁盘瓶颈；查看 /var/log/syslog、dmesg、journalctl -xe 获取系统级错误。
• 变更控制：操作前先备份配置与元数据，变更后按序启停服务并观察日志。

二、常见故障与修复要点

• DataNode 无法连接 NameNode（如日志出现 “Problem connecting to server …:9000”）
  1. 用 jps 确认 NameNode/DataNode 已启动；
  2. 节点间 ping 互通；
  3. 检查 core-site.xml 的 fs.defaultFS 是否为可解析的主机名或 IP（避免仅指向 localhost）；
  4. 清理 /etc/hosts 中的 127.0.1.1 主机别名绑定，防止解析到本机回环；
  5. 用 netstat -tpnl | grep 9000 确认 9000 端口监听且允许远程；
  6. 必要时备份后执行 hdfs namenode -format 并重启 HDFS。
• 端口未开放或仅本地监听（出现 “Retrying connect to server … Already tried … times”）
  1. 确认 NameNode 9000 端口处于监听并对集群网段开放；
  2. 修正 core-site.xml 中的主机名配置，避免 localhost；
  3. 清理 /etc/hosts 的 127.0.1.1 绑定；
  4. 重启相关服务并复核日志。
• 节点缺失或 Web UI 为空（如 dfsadmin -report 容量全为 0、DataNode 列表为空）
  1. 用 jps 确认 DataNode 在各从节点运行；
  2. 复核 hdfs-site.xml 的 dfs.datanode.data.dir 权限与磁盘空间；
  3. 检查 NameNode/DataNode 日志中的异常堆栈与网络错误；
  4. 确认 /etc/hosts 与 core-site.xml 主机名一致；
  5. 必要时重启 HDFS 并再次查看 http://:9870。

三、服务重启与最小可用验证

• 重启顺序建议：先停 YARN 再停 HDFS，随后按相反顺序启动；或按角色依次滚动重启以降低影响。
• 常用命令示例：
  • 停止/启动脚本：在 HADOOP_HOME/sbin 下执行 ./stop-all.sh 与 ./start-all.sh（若使用脚本部署）；
  • 系统服务：对独立托管的服务使用 systemctl restart ；
  • 版本变更风险：若问题持续，评估 升级或回滚 Hadoop 版本 的可行性。
• 最小可用验证：
  • HDFS：执行 hdfs dfsadmin -report 与 hdfs dfs -ls / 检查容量与目录；
  • YARN：在 http://:8088 查看集群与应用；提交一个 sleep 60 的测试作业验证调度与资源。

四、Debian 系统层面的检查与加固

• 资源与系统日志：用 top/vmstat/iostat 观察瓶颈；查看 /var/log/syslog、dmesg、journalctl -xe 捕捉内核/服务异常。
• 文件系统与磁盘：异常关机或 I/O 错误时，对数据盘执行 fsck；清理磁盘、扩容或迁移 dfs.datanode.data.dir。
• 软件与内核：保持系统更新 sudo apt update && sudo apt upgrade；必要时重启节点以应用内核/驱动变更。

五、排障清单模板