Debian系统如何监控Hadoop运行状态

1. 使用Hadoop自带监控工具
Hadoop提供了基础的命令行和Web界面工具，适合快速查看集群状态：

• 命令行工具：
  • jps：列出所有Java进程，确认NameNode、DataNode、ResourceManager、NodeManager等核心组件是否运行（如缺失则表示进程崩溃）。
  • hdfs dfsadmin -report：生成HDFS详细状态报告，包含集群总容量、已用空间、剩余空间及各DataNode的心跳状态（如DataNode未上报心跳可能意味着网络或节点故障）。
  • yarn node -list：查看YARN集群中所有NodeManager的列表及状态（如“RUNNING”表示正常，“UNHEALTHY”表示节点异常）。
  • yarn application -list：列出当前集群中正在运行的作业，包括作业ID、用户、状态（如“RUNNING”“FINISHED”“FAILED”）。
• Web UI界面：
  • NameNode Web UI（默认端口50070，Hadoop 3.x为9870）：查看HDFS的整体状态（如存储使用率、Block缺失数）、文件系统树及DataNode列表。
  • ResourceManager Web UI（默认端口8088）：监控YARN集群的资源使用情况（如总内存、CPU核数分配）、作业队列及任务执行详情（如Map/Reduce任务的进度、失败原因）。

2. 采用第三方监控工具
第三方工具提供更全面的可视化、告警及历史数据分析能力：

• Apache Ambari：基于Web的集中管理工具，支持Hadoop集群的部署、监控及告警。通过Ambari可查看各组件的实时指标（如HDFS存储使用率、YARN资源利用率），并设置阈值告警（如NameNode内存超过80%时发送邮件）。
• Ganglia + Grafana：Ganglia是分布式监控系统，负责收集集群节点的CPU、内存、磁盘I/O等指标；Grafana是可视化工具，可将Ganglia的数据转换为直观的仪表盘（如集群资源使用率趋势图、节点负载对比图），适合大型集群的监控。
• Prometheus + Grafana：Prometheus通过Hadoop的JMX接口或Exporter（如Hadoop Exporter）收集性能指标（如NodeManager分配的Container数、Map任务耗时），Grafana则用于创建自定义仪表盘（如作业执行时间分布、资源瓶颈分析），并支持告警规则（如Pending Applications数量超过10时触发告警）。
• Zabbix：企业级开源监控解决方案，支持监控Hadoop集群的主机状态、服务可用性（如NameNode进程是否存活）及性能指标（如磁盘空间使用率）。通过Zabbix的触发器可设置告警（如DataNode磁盘空间不足时发送短信）。

3. 编写自定义监控脚本
若需要特定的监控逻辑（如定期检查HDFS副本数、YARN任务失败率），可编写Shell或Python脚本：

• 示例1（Shell脚本）：使用curl获取NameNode状态，判断是否健康：

  #!/bin/bash
  namenode_status=$(curl -s http://<namenode-host>:50070/dfshealth.html | grep "Healthy")
  if [[ -n "$namenode_status" ]]; then
    echo "NameNode is healthy"
  else
    echo "NameNode is unhealthy" | mail -s "Hadoop Alert" admin@example.com
  fi
  

• 示例2（Python脚本）：使用subprocess模块调用yarn application -list，统计失败作业数量：

  import subprocess
  result = subprocess.run(["yarn", "application -list"], capture_output=True, text=True)
  failed_apps = [line for line in result.stdout.splitlines() if "FAILED" in line]
  if len(failed_apps) > 0:
    print(f"Failed applications: {len(failed_apps)}")
  

• 脚本应用：可将脚本设置为定时任务（如crontab -e添加*/5 * * * * /path/to/script.sh），定期执行并将结果输出到日志文件或发送告警。

4. 关键监控指标建议
无论使用哪种方法，都应关注以下核心指标，以确保Hadoop集群的稳定运行：

• HDFS指标：存储使用率（避免超过80%）、Block缺失数（应为0）、DataNode心跳丢失率（应低于1%）、文件操作延迟（读/写延迟应稳定）。
• YARN指标：总资源（vCore/Memory）使用率（应低于80%）、Pending Applications数量（应低于5）、任务失败率（应低于1%）、NodeManager资源分配情况（如分配的Container数是否符合预期）。
• 进程与网络指标：Hadoop组件进程是否存活（如NameNode、ResourceManager）、节点间网络连通性（如ping延迟低于50ms）、RPC队列长度（应低于100，避免请求堆积）。