HDFS在Ubuntu上如何进行故障排查

HDFS在Ubuntu上的系统化故障排查指南

一 快速定位流程

• 检查进程是否存活：运行jps，确认出现NameNode、DataNode、（HA环境）JournalNode/DFSZKFailoverController等关键进程。若缺失，优先查看对应日志定位启动失败原因。
• 查看服务与健康：执行hdfs dfsadmin -report获取Live/Decommissioning/Stale节点数、容量与块报告；若集群处于安全模式导致不可写，先执行hdfs dfsadmin -safemode leave再继续操作。
• 校验数据完整性：执行hdfs fsck /（或指定目录）查看Under-replicated、Corrupt/Missing blocks；必要时结合修复选项处理。
• 直连与连通性：从客户端对NameNode RPC（默认8020）与DataNode IPC（常见50010/50020）做telnet/nc连通性测试，并排查防火墙/安全组策略。
• 日志与系统资源：重点查看NameNode/DataNode日志（常见路径：$HADOOP_HOME/logs/ 或 /var/log/hadoop-hdfs/），同时检查磁盘空间（df -h）、内存/GC、系统负载是否异常。

二 常见故障与修复对照表

三 关键配置与端口核对

• 核心配置项
  • core-site.xml：fs.defaultFS（如：hdfs://namenode:8020）。
  • hdfs-site.xml：dfs.replication（副本数）、dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.datanode.data.dir、dfs.namenode.name.dir、（HA）dfs.journalnode.edits.dir与dfs.namenode.shared.edits.dir。
• 常见端口
  • NameNode RPC：8020；NameNode HTTP：50070；DataNode IPC：50010；DataNode HTTP：50075；（HA）JournalNode：8485。
• 环境与服务
  • 确认JAVA_HOME在hadoop-env.sh中正确设置；如使用包管理安装，可用systemctl status hadoop-hdfs-namenode/datanode查看服务状态。

四 实用命令清单

• 进程与服务：
  • 进程检查：jps
  • 服务状态：systemctl status hadoop-hdfs-namenode（按需替换为datanode/journalnode）
• 集群与块：
  • 集群报告：hdfs dfsadmin -report
  • 安全模式：hdfs dfsadmin -safemode get/leave
  • 健康检查：hdfs fsck /（可加**-files -blocks -locations**查看块分布）
• 文件系统操作：
  • 列目录：hdfs dfs -ls /
  • 创建目录：hdfs dfs -mkdir -p /user/hadoop
  • 上传/查看：hdfs dfs -put local.txt /user/hadoop/input；hdfs dfs -cat /user/hadoop/input/local.txt
• 权限与属主：
  • 授权：hdfs dfs -chown -R hadoop:hadoop /user/hadoop
  • 权限：hdfs dfs -chmod -R 755 /user/hadoop

五 排障注意事项

• 避免误格式化：仅在首次部署或明确备份元数据后执行hdfs namenode -format；生产环境应先做好NameNode元数据与dfs目录的备份。
• 最小权限原则：HDFS权限与Linux一致，但超级用户是启动NameNode的用户；日常运维尽量使用该用户或通过chown/chmod授予最小必要权限。
• 变更可回滚：修改core-site.xml/hdfs-site.xml后先小范围验证；变更dfs.datanode.data.dir等目录后，确保目录存在且权限正确再启动。
• 监控与巡检：结合HDFS Canary、Corrupt Blocks、DataNode Health、Free Space等指标设置阈值告警，定期执行fsck与健康巡检。