Hadoop在Linux上的故障排查技巧

在Linux环境下进行Hadoop故障排查，可以遵循以下步骤：

检查Hadoop集群状态

• 使用 jps 命令查看Java进程是否正常运行，确保NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等进程都在运行。
• 查看Hadoop日志，NameNode和DataNode的日志通常位于 HADOOP_HOME/logs 目录下。

检查HDFS状态

• 使用 hdfs dfsadmin -report 命令查看HDFS的健康状况和节点信息。
• 检查NameNode和DataNode的连接，确保NameNode能够正确地与DataNode通信。

检查YARN状态

• 使用 yarn node -list 命令查看ResourceManager管理的NodeManager列表及其状态。
• 检查ResourceManager和NodeManager的日志文件。

检查网络连接

• 使用 ping 和 traceroute 命令检查集群节点之间的网络连通性。
• 检查防火墙设置，确保必要的端口（如8088、50010、50020等）在防火墙中是开放的。

检查配置文件

• 核对 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml，确保所有配置项正确无误。
• 检查环境变量，确保 HADOOP_HOME 和 PATH 等环境变量设置正确。

使用Hadoop命令行工具

• 使用 hdfs dfs -ls / 命令检查HDFS根目录下的文件和目录。
• 使用 yarn application -list 命令查看正在运行的YARN应用程序。

查看系统资源

• 使用 top、htop 或 vmstat 命令监控CPU、内存和磁盘I/O的使用情况。
• 检查磁盘空间，确保HDFS数据节点有足够的磁盘空间。

使用监控工具

• 使用Ganglia、Prometheus、Grafana等监控工具实时监控集群的性能和健康状况。

日志分析

• 详细查看日志文件，特别是错误日志，通常会有详细的错误信息和堆栈跟踪。
• 使用日志分析工具，如ELK Stack（Elasticsearch, Logstash, Kibana）来集中管理和分析日志。

参考官方文档和社区资源

• 查阅Hadoop官方文档，获取详细的故障排除指南和最佳实践。
• 参与社区讨论，在Stack Overflow、Hadoop邮件列表等地方寻求帮助。

故障排查技巧总结

• 基础检查：使用 df -h、du -sh /path/*、ls -lhS /path/ | head 等命令快速定位磁盘空间和使用情况。
• 进阶排查：使用 hdfs dfs -df -h、yarn logs -applicationId、kafka-topics.sh --describe --zookeeper localhost:2181 等命令专项检查HDFS、YARN和Kafka的状态。
• 深度诊断：检查 inode 耗尽、磁盘配额限制、僵尸进程占用、Docker容器日志等。
• 应急处理：快速清理临时文件、扩容HDFS、紧急释放YARN资源等。
• 长期解决方案：自动化监控脚本、HDFS最佳配置、日志轮转配置等。

通过以上步骤和技巧，可以系统地排查和解决Hadoop在Linux上的故障。根据具体情况，可能需要结合多种方法来定位和解决问题。