CentOS HDFS故障怎么排查

在CentOS上故障排查HDFS问题时，可以遵循以下步骤：

检查HDFS服务状态

• 使用命令 systemctl status hadoop-hdfs-namenode 和 systemctl status hadoop-hdfs-datanode 检查HDFS NameNode和DataNode服务是否已经启动。如果没有启动，使用命令 systemctl start hadoop-hdfs-namenode 和 systemctl start hadoop-hdfs-datanode 启动服务。

检查日志文件

• HDFS的日志文件通常位于 /var/log/hadoop-hdfs/ 目录下。
• 检查namenode和datanode的日志文件，查找错误信息或警告。
  • namenode日志: /var/log/hadoop-hdfs/hadoop-<username>-namenode-<hostname>.log
  • datanode日志: /var/log/hadoop-hdfs/hadoop-<username>-datanode-<hostname>.log

检查网络连接

• 确保所有节点之间的网络连接正常。可以使用 ping 命令测试节点之间的连通性。
• 使用 traceroute 或 mtr 命令检查网络路径，找出可能的瓶颈或故障点。

检查HDFS配置文件

• 检查HDFS的主要配置文件，如 hdfs-site.xml 和 core-site.xml，确保配置正确。
• 特别注意以下配置项：
  • fs.defaultFS
  • dfs.namenode.rpc-address
  • dfs.datanode.data.dir
  • dfs.namenode.http-address

检查机架感知配置

• 如果使用了机架感知功能，确保机架感知配置正确。可以通过以下命令查看机架感知拓扑：hdfs dfsadmin -printTopology

检查资源使用情况

• 使用 top 或 htop 命令检查集群中各个节点的资源使用情况，如CPU、内存和磁盘空间。

检查防火墙设置

• 确保防火墙允许HDFS所需的网络流量。可以使用以下命令检查和修改防火墙规则：
  • iptables -L
  • firewall-cmd --list-all
  • firewall-cmd --add-port 50010/tcp --permanent
  • firewall-cmd --reload

使用HDFS Shell命令

• 列出目录内容: hdfs dfs -ls /path/to/directory
• 检查文件状态: hdfs dfs -stat %h /path/to/file
• 删除目录: hdfs dfs -rm -r /path/to/directory
• 进入HDFS Shell: hdfs dfs -bash

使用监控和报警工具

• 利用HDFS提供的监控工具，如HDFS Canary和HDFS Corrupt Blocks，来检测集群的健康状况和损坏块。

检查硬件故障

• 检查存储设备、网络接口卡等硬件是否正常工作。

其他常见问题和解决方案

• 权限问题：使用 hdfs dfs -chmod 和 hdfs dfs -chown 命令修改权限和所有者。
• 文件属主不一致：使用 hdfs dfs -chown 用户名:组名 /目标路径 命令。
• 安全模式：使用 hdfs dfsadmin -safemode leave 命令退出安全模式。

通过以上步骤，可以系统地排查HDFS在CentOS上的故障。如果问题仍然存在，建议查看相关日志文件和系统信息，以便进一步定位问题。