Debian如何监控Hadoop状态

1. 使用Hadoop自带监控工具
Hadoop提供了基础的命令行工具和Web界面，适合快速查看集群状态：

• 命令行工具：
  • jps：列出所有Java进程，确认NameNode、DataNode、ResourceManager、NodeManager等核心组件是否运行（如缺失则表示进程崩溃）。
  • hdfs dfsadmin -report：生成HDFS详细状态报告，包含集群总容量、已用空间、剩余空间及各DataNode的存储状态（如磁盘剩余空间低于阈值会标记为警告）。
  • yarn node -list：列出YARN集群中所有NodeManager的ID、状态（RUNNING/UNHEALTHY）及资源使用情况（如内存、CPU占用）。
  • yarn application -list：查看当前运行的MapReduce/Spark等作业列表，包括作业ID、状态（ACCEPTED/RUNNING/FINISHED）、提交时间及资源分配。
• Web界面：
  • NameNode UI（默认端口50070，Hadoop 3.x为9870）：查看HDFS健康状态、文件系统树、DataNode列表及各节点的存储利用率。
  • ResourceManager UI（默认端口8088）：监控YARN集群资源使用情况（如集群总内存、CPU）、作业队列状态及各ApplicationMaster的运行详情。

2. 采用第三方监控工具
对于大规模集群，第三方工具能提供更全面的监控与可视化：

• Apache Ambari：支持Hadoop组件（HDFS、YARN、Hive等）的集中管理，通过Web界面查看集群拓扑、资源分配、组件状态，并支持告警配置（如NameNode宕机时发送邮件）。
• Ganglia + Grafana：Ganglia作为分布式监控系统，收集集群节点的CPU、内存、磁盘I/O、网络流量等指标；Grafana负责数据可视化，通过仪表盘展示关键指标趋势（如集群整体CPU使用率），适合大型集群的性能分析。
• Prometheus + Grafana：Prometheus通过Hadoop JMX接口采集性能指标（如NameNode的RPC延迟、DataNode的磁盘写入速率），Grafana创建仪表盘展示指标，并支持设置告警规则（如DataNode磁盘剩余空间低于10%时触发告警）。

3. 编写自定义监控脚本
通过脚本定期采集指标并输出到日志或监控系统，实现个性化监控：

• 示例脚本（检查NameNode和ResourceManager状态）：

  #!/bin/bash
  # 获取NameNode状态
  namenode_status=$(curl -s http://<namenode-host>:50070/dfshealth.html | grep "Healthy")
  echo "$(date) - NameNode Status: ${namenode_status:-UNHEALTHY}" >> /var/log/hadoop_monitor.log
  # 获取ResourceManager状态
  resourcemanager_status=$(curl -s http://<resourcemanager-host>:8088/cluster | grep "State")
  echo "$(date) - ResourceManager State: ${resourcemanager_status:-UNKNOWN}" >> /var/log/hadoop_monitor.log
  

  脚本可通过cron定时执行（如每5分钟运行一次），并将日志上传至ELK Stack（Elasticsearch+Logstash+Kibana）进行集中存储与分析。

4. 配置告警与通知
及时获取集群异常信息，避免问题扩大：

• 启用JMX：在hadoop-env.sh中添加-Dcom.sun.management.jmxremote参数，开启JMX远程监控，允许Prometheus等工具采集指标。
• 设置告警规则：在Prometheus中配置告警规则（如yarn_node_manager_status{state="UNHEALTHY"} > 0），当指标触发规则时，通过Alertmanager发送邮件、短信或Slack通知。