HDFS在Ubuntu上的故障排查步骤

HDFS在Ubuntu上的故障排查步骤

一 快速定位与基础检查

• 检查进程是否齐全：运行jps，应能看到NameNode、DataNode、SecondaryNameNode（若启用YARN，还应看到ResourceManager、NodeManager）。缺进程优先看日志定位根因。
• 查看集群健康与节点：执行hdfs dfsadmin -report，核对Live datanodes、Configured Capacity、DFS Used等关键指标。
• 校验HDFS可用性：执行hdfs dfs -ls /，确认客户端可正常访问；若报连接异常，转向网络与端口排查。
• 查看服务日志：Hadoop日志默认在**$HADOOP_HOME/logs/（常见为namenode-.log、datanode-.log**），优先检索ERROR/Exception及堆栈信息。
• 系统资源与磁盘：用top/htop、df -h检查CPU、内存、磁盘空间，避免因资源不足导致进程异常或数据写入失败。

二 常见故障与修复对照表

三 配置与端口核对清单

• 核心配置：
  • core-site.xml：确认fs.defaultFS=hdfs://:9000。
  • hdfs-site.xml：核对dfs.replication（单机可设为1）、dfs.namenode.name.dir、dfs.datanode.data.dir等路径是否存在且权限正确。
• 环境变量：确保JAVA_HOME指向JDK 8（Hadoop 3.x常用），并在**~/.bashrc或/etc/profile中正确设置HADOOP_HOME、PATH**。
• 端口与连通：
  • 9000（HDFS RPC）、50070（NameNode Web UI，Hadoop 3.x为9870）、50010/50020（DataNode数据传输）等端口需放通。
  • Ubuntu使用ufw：如sudo ufw allow 9000、9870、8088；云服务器同步检查安全组规则。
• 主机名解析：确保**/etc/hosts包含 映射，避免UnknownHostException**。

四 数据一致性与空间问题处理

• 文件系统健康检查：执行hdfs fsck /，必要时用hdfs fsck -files -blocks -locations /定位损坏块/缺失副本并修复。
• 安全模式干预：仅在确认数据块满足最小副本数后执行hdfs dfsadmin -safemode leave，避免数据风险。
• 容量与Inode：用df -h、df -i检查磁盘空间/Inode是否耗尽；空间不足会导致写入失败或副本不足。
• 监控与告警：关注HDFS Canary、Corrupt Blocks、DataNode Health、Free Space等指标，提前发现异常。

五 最小化验证与回退步骤

• 本地伪分布式自检：
  • 格式化：hdfs namenode -format
  • 启动：start-dfs.sh
  • 验证：jps查看进程；hdfs dfsadmin -report查看节点；hdfs dfs -ls /测试读写；浏览器访问http://localhost:9870（Hadoop 3.x）。
• 变更回退：出现异常优先回滚最近配置改动；必要时清理NameNode/DataNode数据目录后重做格式化并重启（注意数据会丢失）。