CentOS HDFS故障排查步骤

在CentOS系统中进行HDFS故障排查，可以按照以下步骤进行：

1. 检查HDFS服务状态

• 使用 systemctl status hadoop-hdfs-namenode 和 systemctl status hadoop-hdfs-datanode 检查NameNode和DataNode的状态。

2. 查看日志文件

• NameNode日志：通常位于 /var/log/hadoop-hdfs/hadoop-<username>-namenode-<hostname>.log。
• DataNode日志：通常位于 /var/log/hadoop-hdfs/hadoop-<username>-datanode-<hostname>.log。
• 使用 tail -f /path/to/logfile 命令实时查看日志文件，寻找错误信息。

3. 检查网络连接

• 使用 ping 命令检查DataNode与NameNode之间的网络连通性。
• 使用 traceroute 命令检查数据包的路径，排查网络故障。

4. 检查磁盘空间和权限

• 使用 df -h 命令检查磁盘空间使用情况。
• 使用 ls -l 命令检查文件和目录的权限设置，确保HDFS有足够的权限进行读写操作。

5. 检查HDFS配置文件

• 核对 hdfs-site.xml 和 core-site.xml 配置文件，确保配置正确。
• 特别注意 dfs.namenode.datanode.registration.ip-hostname-check、dfs.namenode.rpc-address、dfs.datanode.data.dir 等关键配置项。

6. 使用HDFS命令检查集群状态

• 使用 hdfs dfsadmin -report 命令查看集群的状态信息，包括数据块数量、DataNode状态等。
• 使用 hdfs fsck 命令检查文件系统的完整性，修复损坏的数据块。

7. 检查安全模式

• 如果集群处于安全模式，使用 hdfs dfsadmin -safemode leave 命令退出安全模式。

8. 检查JournalNode状态

• 确保JournalNode正常运行，使用 hdfs dfsadmin -report 检查JournalNode的状态。

9. 使用监控工具

• 利用HDFS监控工具（如Ambari、Cloudera Manager等）查看集群的实时状态和性能指标。

10. 重启服务

• 如果以上步骤未能解决问题，尝试重启HDFS服务：

  systemctl restart hadoop-hdfs-namenode
  systemctl restart hadoop-hdfs-datanode
  

通过以上步骤，可以系统地排查CentOS系统中HDFS的故障。如果问题依然存在，建议查看具体的错误日志，以便进一步分析问题所在。