CentOS HDFS故障排查指南有哪些

CentOS 上 HDFS 故障排查指南

一 快速定位流程

• 明确症状与范围：记录具体报错、发生时间、涉及的 NameNode/DataNode/客户端，以及是否伴随 网络或系统变更。
• 收集关键日志：优先查看 NameNode/DataNode 日志（常见路径：/var/log/hadoop-hdfs/ 或 $HADOOP_HOME/logs/），同时检查系统日志 /var/log/messages 或 /var/log/syslog。
• 集群健康巡检：执行 hdfs dfsadmin -report 查看 Live/Decommissioning/Failed 节点与容量；用 hdfs fsck / 检查文件系统健康，必要时用 -list-corruptfileblocks 列出损坏块。
• 配置与连通性核对：复核 core-site.xml、hdfs-site.xml 关键项（如 fs.defaultFS、dfs.namenode.name.dir、dfs.datanode.data.dir、dfs.replication）；确认 JAVA_HOME/HADOOP_HOME 正确并已生效（如 source /etc/profile）；用 ping、traceroute/mtr 检查节点间连通；校对 /etc/hosts 主机名解析；排查 firewalld/iptables 是否阻断端口。
• 服务状态与端口：用 jps 确认 NameNode/DataNode 进程；必要时用 systemctl status hadoop-namenode/hadoop-datanode 查看服务状态与启动日志。

二 常见故障与处置要点

三 关键命令与操作清单

• 服务与进程：
  • 启动/停止：start-dfs.sh / stop-dfs.sh
  • 进程检查：jps（应见到 NameNode/DataNode）
  • 服务状态：systemctl status hadoop-namenode/hadoop-datanode
• 集群健康与空间：
  • 节点与容量：hdfs dfsadmin -report
  • 健康检查：hdfs fsck /（可加 -list-corruptfileblocks 列出损坏块）
• 安全模式：
  • 查看：hdfs dfsadmin -safemode get
  • 退出：hdfs dfsadmin -safemode leave
• 文件与权限：
  • 列目录：hdfs dfs -ls /
  • 授权：hdfs dfs -chmod 755 /path；hdfs dfs -chown user:group /path
• 客户端日志级别：按需调整 HDFS Shell 客户端日志级别以定位问题

四 环境与配置核查清单

• Java/Hadoop 环境：确认 JAVA_HOME、HADOOP_HOME 已在 /etc/profile 或 ~/.bashrc 正确设置并执行 source 生效；版本匹配且路径无误。
• 核心配置：复核 core-site.xml、hdfs-site.xml 中的 fs.defaultFS、dfs.namenode.name.dir、dfs.datanode.data.dir、dfs.replication 等关键参数，避免 URI 分隔符 与路径错误。
• 主机名解析与 SSH：校对 /etc/hosts 主机名与 IP 映射；确保 SSH 免密 正常，便于集群启停与维护。
• 防火墙与端口：按需放通 HDFS 相关端口（如 NameNode Web UI 50070 等），或临时停用 firewalld 验证是否为阻断所致。
• 配置一致性：多节点间保持 配置文件同步，变更后逐节点 source 使环境变量生效。

五 预防与最佳实践

• 时间同步：全集群部署 NTP，避免因时间漂移引发 块丢失/异常。
• 容量与均衡：定期清理与归档；执行 Balancer 做数据/磁盘均衡，避免单盘/单节点打满。
• 监控与告警：启用 Ambari/Ganglia 等监控并设置阈值，结合 NameNode/DataNode 日志进行巡检。
• 变更管控：变更前备份 fsimage/edits 与关键配置；变更后在测试环境验证再推广。
• 安全加固：启用 Kerberos 与 SSL，最小化开放端口与访问来源，遵循最小权限原则。