CentOS HDFS故障排查有哪些技巧

CentOS 上排查 HDFS 故障的实用技巧

一 快速定位流程

• 先看进程与服务状态：用 jps 确认 NameNode/DataNode 是否在；用 systemctl status hadoop-hdfs-namenode hadoop-hdfs-datanode 查看 systemd 状态与最近报错。
• 直查日志：HDFS 日志通常在 /var/log/hadoop-hdfs/，优先看 namenode.log / datanode.log 的错误与异常堆栈。
• 集群健康与块报告：执行 hdfs dfsadmin -report 检查 Live/Decommissioning/Stale 节点与容量；用 hdfs fsck / -files -blocks -locations 检查缺失、损坏与副本不足。
• 安全模式：若处于 Safe mode，先评估再处理，必要时用 hdfs dfsadmin -safemode leave 退出（仅在确认数据一致后）。
• 资源与系统：用 df -h / du -sh 看磁盘，top/htop 看 CPU/内存，journalctl -xe 看系统级错误。

二 配置与权限核查

• 环境变量：确认 JAVA_HOME 与 HADOOP_HOME 已在 /etc/profile 或 ~/.bashrc 正确设置，并执行 source 使生效。
• 关键配置：核对 core-site.xml / hdfs-site.xml 的 fs.defaultFS、dfs.namenode.rpc-address、dfs.datanode.data.dir、dfs.namenode.http-address 等关键项，且集群节点间保持一致。
• 目录权限：确保 dfs.datanode.data.dir 等目录属主/权限正确（如 chown/chmod 给运行用户）。
• 主机名解析与 SSH：用 /etc/hosts 保证 IP-主机名 正确解析；节点间 SSH 免密 正常（NameNode 起停与分发常依赖）。
• 初始化一致性：若需重新 hdfs namenode -format，务必先清理 dfs.data.dir/dfs.name.dir 等数据目录，避免 namespaceID 不一致 导致 DataNode 无法注册。

三 网络连通与防火墙

• 连通性：节点间用 ping / traceroute 排查网络；跨机房/容器环境重点看路由与 MTU。
• 端口放行：确认 firewalld/iptables 放行 HDFS 端口，例如 50010/tcp（DataNode 数据传输）等，变更后用 firewall-cmd --reload 生效。
• 常见网络报错：如 NoRouteToHostException / Connection refused，优先检查防火墙、网络策略与监听地址是否可达。
• 主机名与端口绑定：核对 dfs.namenode.rpc-address / dfs.datanode.address 等是否绑定到正确的 主机名/IP 与端口。

四 常见故障与修复对照表

五 性能与稳定性优化建议

• 容量与副本：保证 dfs.datanode.data.dir 所在磁盘有充足余量；按业务需求合理设置 dfs.replication，避免 Under-replicated 引发连锁问题。
• 监控与告警：结合 Ambari/Ganglia 或命令行定期巡检 集群容量、块健康、慢节点，提前发现异常。
• 机架感知：启用并验证 机架感知，执行 hdfs dfsadmin -printTopology 确认拓扑生效，优化副本放置与网络路径。
• 系统层面：关注 内核日志 dmesg、磁盘 SMART、系统更新（yum update），减少因底层故障导致的 HDFS 异常。