Hadoop集群Linux如何监控

1. Hadoop自带监控工具
Hadoop原生提供多维度监控能力，覆盖基础状态查看与实时数据获取：

• 命令行工具：通过jps命令可查看Hadoop关键进程（NameNode、DataNode、ResourceManager、NodeManager等）是否运行；hdfs dfsadmin -report生成HDFS详细状态报告（包括总容量、已用空间、DataNode列表及健康状况）；yarn node -list列出YARN集群中所有NodeManager的状态及资源分配情况；yarn application -list查看当前正在运行的YARN应用程序（如MapReduce、Spark作业）的进度、状态及资源使用情况。
• Web界面：Hadoop各组件提供可视化Web界面，NameNode默认端口为9870（Hadoop 3.x）或50070（Hadoop 2.x），可查看HDFS集群健康度、块分布、DataNode详情；ResourceManager默认端口8088，可监控YARN集群资源池（如内存、CPU）使用率、队列状态及运行中应用程序的详细信息。

2. 日志文件监控
Hadoop组件日志集中存储在$HADOOP_HOME/logs目录下（如NameNode日志为hadoop-<user>-namenode-<hostname>.log），通过tail -f命令可实时跟踪日志输出（如DataNode心跳异常、NameNode故障）；使用grep命令结合关键字（如“ERROR”“WARN”）可快速定位特定错误信息（如磁盘空间不足、网络连接中断）。

3. 第三方监控工具
针对大规模集群，推荐使用专业监控方案实现自动化、可视化监控：

• Prometheus+Grafana：Prometheus作为时间序列数据库，通过Hadoop Exporter（如HDFS Exporter、YARN Exporter）采集集群指标（如HDFS块数量、YARN内存使用率）；Grafana对接Prometheus数据源，创建仪表盘展示集群状态（如NameNode CPU使用率趋势、DataNode磁盘剩余空间占比），并设置报警规则（如DataNode宕机阈值超过3个时触发邮件报警）。
• Apache Ambari：提供集中式Web管理界面，支持Hadoop集群的部署、配置管理及监控（如查看各节点资源使用率、组件健康状态），内置报警功能（如HDFS副本数不足时发送短信通知），适用于需要统一管理的集群环境。
• Ganglia/Zabbix/Nagios：Ganglia擅长分布式集群监控，可展示节点CPU、内存、网络流量的实时趋势；Zabbix支持多平台监控，提供丰富的告警方式（如邮件、微信、电话）；Nagios通过插件（如check_hdfs）监控HDFS状态（如块缺失、DataNode不可用），适用于传统企业级环境。

4. 自定义脚本监控
通过Shell或Python脚本定期检查集群状态，实现个性化监控需求：

• 示例脚本（检查NameNode状态）：使用curl命令获取NameNode Web UI数据，解析返回结果判断集群是否健康（如curl -s http://<namenode-host>:9870/dfshealth.html | grep "Healthy"），若未检测到“Healthy”关键字则发送邮件报警。
• 扩展功能：可结合top（查看系统CPU使用率）、df -h（查看磁盘剩余空间）、netstat -tuln（查看网络端口监听状态）等命令，监控集群所在Linux服务器的系统资源，确保硬件资源充足。