CentOS HDFS故障排查与解决方案

CentOS 上 HDFS 故障排查与解决方案

一 快速定位流程

• 核对基础环境：执行 java -version、hadoop version，确认 JAVA_HOME/HADOOP_HOME/PATH 已在 /etc/profile 或 ~/.bashrc 中正确设置并生效（执行 source）。
• 检查进程存活：执行 jps，应能看到 NameNode、DataNode（若部署了 SecondaryNameNode、ResourceManager、NodeManager 也应存在）。
• 查看服务状态：使用 systemctl status hadoop-hdfs-namenode/hadoop-hdfs-datanode；未运行则启动并检查失败原因。
• 定位错误日志：优先查看 /var/log/hadoop-hdfs/ 下的 namenode/datanode 日志，或使用 tail -f 实时跟踪。
• 连通性与端口：节点间 ping 互通；按需开放端口（如 50070 等），或临时关闭 firewalld 验证是否为防火墙阻断。
• 配置与主机名：核对 core-site.xml、hdfs-site.xml 关键项；确保 /etc/hosts 主机名与 IP 映射正确，避免 UnknownHostException。
• 集群健康：执行 hdfs dfsadmin -report 查看 Live/Decommissioning 节点；用 hdfs fsck / 检查文件系统健康与坏块。

二 常见故障与修复对照表

三 关键配置与端口核对

• 核心配置项
  • core-site.xml：fs.defaultFS（如 hdfs://namenode:8020/或9000）
  • hdfs-site.xml：dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir、dfs.namenode.http-address、dfs.namenode.rpc-address、dfs.namenode.datanode.registration.ip-hostname-check
• 环境变量
  • 在 hadoop-env.sh 明确设置 JAVA_HOME；在 /etc/profile 或 ~/.bashrc 设置 HADOOP_HOME/PATH 并执行 source 生效。
• 端口与连通
  • 常见访问端口：50070（NameNode Web UI）；RPC 端口通常为 8020/9000（与 fs.defaultFS 一致）。
  • 使用 firewall-cmd --list-all 检查规则，必要时放行相关端口或临时关闭防火墙验证。

四 数据一致性与恢复建议

• 安全模式处理：启动或恢复期间短暂处于 Safe mode 属正常；若长时间不退出，先排查数据块是否满足最小副本数，再按需执行 hdfs dfsadmin -safemode leave。
• 文件系统健康检查：定期执行 hdfs fsck / 查看 Under-replicated blocks、Corrupt blocks、Missing blocks；对可恢复数据执行修复或恢复流程。
• 坏块处置：对确认无法恢复的坏块，先评估业务影响，再从备份恢复；修复后再次 fsck 验证。
• 一致性修复：若因 namespaceID 不一致导致 DataNode 无法注册，清理 dfs.datanode.data.dir 并重新 格式化 NameNode（注意：此操作会清空 HDFS 数据）。

五 维护与预防建议

• 变更管控：修改 core-site.xml/hdfs-site.xml 后同步到所有节点并统一 source；变更前备份配置与数据目录。
• 容量与配额：监控 磁盘使用率 与 HDFS 配额，提前扩容或清理；避免因空间不足导致写入失败或健康检查异常。
• 版本与兼容：保持 Hadoop 与 JDK 版本匹配；升级前在测试环境验证。
• 网络与主机名：固化 /etc/hosts 映射，避免动态 DNS 引发解析波动；必要时配置机架感知 hdfs dfsadmin -printTopology 校验。
• 监控与告警：启用 Ambari/Cloudera Manager 或自建监控，对 NameNode/DataNode 进程、磁盘、坏块数、安全模式 配置告警。