CentOS环境下HDFS如何进行故障排查

CentOS环境下HDFS故障排查实战手册

一快速定位流程

服务与进程：确认 NameNode/DataNode 是否存活，使用命令：systemctl status hadoop-hdfs-namenode、systemctl status hadoop-hdfs-datanode；必要时用 jps 检查 Java 进程。
日志与系统日志：第一时间查看 /var/log/hadoop-hdfs/ 下的 namenode/datanode 日志，配合 journalctl -n 100 获取系统级事件。
集群健康：执行 hdfs dfsadmin -report 查看 Live/Decommissioning/Failed 节点与容量；用 hdfs fsck / 检查文件系统一致性与副本情况。
网络连通：用 ping、traceroute、ss -tulpen | grep <端口> 验证节点互通与端口监听。
资源与磁盘：用 df -h、du -sh、top/htop 排查容量、inode 与负载异常。
配置与解析：核对 core-site.xml、hdfs-site.xml 关键项（如 fs.defaultFS、dfs.namenode.rpc-address、dfs.datanode.data.dir），检查 /etc/hosts 与 DNS 解析一致性。
安全策略：确认 firewalld/iptables 与 SELinux 未阻断 HDFS 端口与进程访问。

二常见故障与处理要点

症状	快速检查	处理建议
NameNode 无法启动	查看 namenode 日志；检查 dfs.namenode.name.dir 与元数据目录权限/磁盘	从 SecondaryNameNode 或备份恢复 fsimage+edits；若元数据不可恢复，谨慎执行 hdfs namenode -format（会清空数据）
DataNode 启动失败或频繁掉线	查看 datanode 日志；检查 dfs.datanode.data.dir 权限/磁盘；核对 /etc/hosts 与防火墙	修复磁盘/权限后重启；若 clusterID 不一致，按日志指引统一 namespaceID 或清理数据目录后重启
集群只读/无法写入	执行 hdfs dfsadmin -safemode get；查看 hdfs fsck / 副本与缺失块	先恢复副本与节点，再执行 hdfs dfsadmin -safemode leave；避免强制退出导致数据风险
写入报错 Cannot obtain block length 或超时	查看 DataNode 日志与网络；核对客户端 core-site/hdfs-site 配置是否指向正确 NameNode	修正客户端配置；排查 DataNode 通信与块状态，必要时恢复不一致块
块损坏或丢失	执行 hdfs fsck / -list-corruptfileblocks；定位受影响文件	从备份恢复；无法恢复时删除损坏文件并重导数据
安全模式无法自动退出	检查副本不足与可用 DataNode 数量	恢复/扩容 DataNode 与副本；必要时临时调低阈值并修复后恢复策略
客户端 NoRouteToHostException / 连接被拒	检查 /etc/hosts、firewalld/iptables、端口连通性	修正解析与路由；放行 HDFS 端口或临时停用防火墙验证
磁盘故障或容量告急	查看 df -h、datanode 日志中 DiskErrorException	更换坏盘并更新 dfs.datanode.data.dir；容量紧张时先清理回收站/临时目录并扩容

三关键命令清单

服务与进程
- 查看状态：systemctl status hadoop-hdfs-namenode、systemctl status hadoop-hdfs-datanode
- 动态看日志：tail -F /var/log/hadoop-hdfs/hadoop--namenode-.log
集群健康与块
- 节点与容量：hdfs dfsadmin -report
- 一致性检查：hdfs fsck / -files -blocks -locations
- 列出损坏块：hdfs fsck / -list-corruptfileblocks
- 安全模式：hdfs dfsadmin -safemode get/leave
网络与端口
- 监听端口：ss -tulpen | egrep ‘50070|50075|50010|8020’
- 连通性：ping 、traceroute
容量与负载
- 磁盘与 inode：df -h、df -i
- 资源占用：top/htop
数据修复与迁移
- 复制恢复：hadoop distcp -m src dst
均衡器
- 设置带宽：hdfs dfsadmin -setBalancerBandwidth 20971520
- 启动均衡：hdfs balancer -threshold 10

四配置与网络检查要点

核心配置核对
- core-site.xml：fs.defaultFS（如 hdfs://nn:8020）
- hdfs-site.xml：dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.datanode.data.dir、dfs.replication
环境变量
- 确认 JAVA_HOME 与 HADOOP_HOME 正确设置并已 source /etc/profile 或 ~/.bashrc
主机解析
- /etc/hosts 正确映射 NameNode/DataNode 主机名与 IP，避免解析漂移
防火墙与 SELinux
- 放行 HDFS 端口（示例）：firewall-cmd --add-port=50010/tcp --permanent && firewall-cmd --reload
- 排查 SELinux 是否拦截访问（必要时临时设为 permissive 验证）

五数据安全与恢复建议

变更前先备份关键元数据与配置（如 dfs.namenode.name.dir 与 dfs.datanode.data.dir 的当前内容）。
避免在生产环境直接执行 hdfs namenode -format；确需重建命名空间时，确保已有有效 fsimage+edits 备份或可接受数据清空。
处理安全模式时优先恢复副本与节点，再执行 hdfs dfsadmin -safemode leave，避免强制退出造成数据不一致。
出现坏块优先从备份恢复；无法恢复时删除损坏文件并重新导入，同时排查底层磁盘/硬件原因。
数据迁移与恢复建议使用 distcp 分批进行，控制并发与带宽，减少对线上业务影响。

最新问答

相关标签