如何在CentOS HDFS中进行故障排查

CentOS 上 HDFS 故障排查实操手册

一 快速定位流程

• 服务与进程：确认 NameNode/DataNode 是否存活，使用命令如 systemctl status hadoop-hdfs-namenode、systemctl status hadoop-hdfs-datanode；若无 systemd 单元，可用 jps 检查进程。
• 日志优先：第一时间查看 /var/log/hadoop-hdfs/ 下的 namenode/datanode 日志，定位报错的时间点与异常堆栈。
• 集群健康：执行 hdfs dfsadmin -report 查看 Live/Decommissioning/Failed 节点与容量；用 hdfs fsck / 检查文件系统一致性与缺失块。
• 安全模式：若写入被拒或只读，检查并视情况退出安全模式：hdfs dfsadmin -safemode get/leave。
• Web UI：通过 http://<namenode_ip>:50070 查看 DataNodes、Datanode Volume Failures、Corrupt Blocks 等关键指标。
• 资源与磁盘：用 df -h 检查磁盘使用、top/htop 观察 CPU/内存/IO，避免因容量或负载导致异常。
• 网络连通：用 ping/traceroute 测试节点互通，确认 /etc/hosts 解析正确，排查 firewalld/iptables 策略。
• 端口监听：用 ss -tulpen | grep -E ‘50070|50075|50010|50020|8020’ 确认关键端口处于监听状态。

二 常见故障与修复要点

• NameNode 无法启动或反复格式化后 DataNode 拒绝连接
  现象：启动失败或日志出现 Incompatible clusterIDs。
  处理：对比 dfs.namenode.name.dir/current/VERSION 与 dfs.datanode.data.dir/current/VERSION 的 clusterID；将 DataNode 的 clusterID 改为与 NameNode 一致，或清理 DataNode 数据目录后重启；如为测试环境需重建，可执行 hdfs namenode -format（会清空数据，谨慎）。
• 集群只读或写入失败
  现象：创建/写入报错，或 hdfs dfsadmin -report 显示 Blocks with only corrupt replicas 较多。
  处理：先查 安全模式阈值 与 副本不足 原因，恢复足够的 DataNode/磁盘 后执行 hdfs dfsadmin -safemode leave；用 hdfs fsck / -list-corruptfileblocks 定位损坏块，结合业务评估删除/恢复策略。
• DataNode 磁盘故障或心跳超时
  现象：DataNode 进程异常退出、日志出现 DiskErrorException/volsFailed，或 Live Nodes 减少。
  处理：下线坏盘目录（从 dfs.datanode.data.dir 移除），更换磁盘后重新加入；必要时用 hdfs dfsadmin -restoreFailedStorage 恢复失败存储标记；检查 I/O 负载/坏块 并修复。
• 客户端连接异常
  现象：报错 Retrying connect to server、No route to host、或 Cannot obtain block length。
  处理：核对 core-site.xml/ hdfs-site.xml 的 fs.defaultFS/dfs.namenode.rpc-address 等地址端口；检查 /etc/hosts 与 firewalld 策略；确认客户端与服务端 Hadoop 版本/ABI 兼容。
• 小文件过多导致心跳/块扫描超时
  现象：DataNode 因 I/O 高/锁竞争 掉线，日志提示 长时间持有锁 或 心跳超时。
  处理：升级至 2.10+ / 3.x 并应用相关补丁；通过 HAR/合并 等手段减少小文件；合理设置 dfs.blocksize 与 NameNode 堆内存。

三 关键命令清单

四 配置与网络检查要点

• 核心配置：核对 core-site.xml 的 fs.defaultFS，以及 hdfs-site.xml 的 dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.datanode.data.dir、dfs.replication 等关键项；多机部署需确保 配置文件一致（可用 scp/rsync 同步）。
• 主机解析：在 /etc/hosts 明确映射 NameNode/DataNode 主机名与 IP，避免解析漂移。
• 防火墙放行：对 HDFS 端口 放行（示例）firewall-cmd --add-port=50010/tcp --permanent && firewall-cmd --reload；生产环境建议基于白名单精细化策略。
• 环境变量：确认 JAVA_HOME/HADOOP_HOME 已正确设置并在 /etc/profile 或 ~/.bashrc 中导出，执行 source 使其生效。
• 机架感知：如启用，使用 hdfs dfsadmin -printTopology 校验拓扑是否符合预期。

五 数据安全与恢复建议

• 变更前备份：在对 NameNode 元数据目录 或重要配置做任何操作前先备份；必要时保留 SecondaryNameNode/备份 fsimage+edits 以便恢复。
• 安全模式谨慎退出：仅在确认 副本数/节点 恢复后执行 hdfs dfsadmin -safemode leave，避免数据处于风险状态。
• 坏块与数据修复：优先用 hdfs fsck 评估影响范围；结合业务选择删除/恢复；跨集群迁移恢复可用 DistCp。
• 容量治理：当使用率长期接近 75% 时，优先清理 回收站 .Trash、临时目录与历史数据，必要时临时降低 副本数 或扩容。
• 风险提示：涉及 格式化 NameNode、删除坏块/目录、强制退出安全模式 等操作具有数据丢失风险，务必在评估与备份后执行，并在变更窗口内完成。