Linux系统里Hadoop怎样监控管理

Linux系统下Hadoop监控管理方法

1. Hadoop自带监控工具

• 命令行工具：通过Hadoop内置命令快速获取集群状态，常用命令包括：
  • jps：查看Hadoop关键进程（NameNode、DataNode、ResourceManager、NodeManager等）是否运行；
  • hdfs dfsadmin -report：生成HDFS详细状态报告（集群容量、DataNode健康状态、块分布等）；
  • yarn node -list：列出YARN集群中所有NodeManager的状态；
  • yarn application -list：查看当前运行的YARN应用程序（如MapReduce、Spark作业）；
  • yarn logs -applicationId <ID>：获取指定应用程序的日志信息。
• Web界面：通过浏览器访问各组件的Web界面，直观监控集群状态：
  • NameNode：http://<namenode-host>:9870（Hadoop 3.x，默认端口）或http://<namenode-host>:50070（Hadoop 2.x），展示HDFS存储使用、DataNode列表、健康状态等；
  • ResourceManager：http://<resourcemanager-host>:8088，查看YARN资源分配、运行中的应用程序、节点状态等。

2. 第三方监控工具

• Apache Ambari：提供集中式Web界面，支持Hadoop生态组件（HDFS、YARN、Hive、HBase等）的监控、配置与管理，支持警报设置与报告生成，适合大规模集群管理。
• Prometheus + Grafana：
  • Prometheus：开源监控系统，通过Hadoop Exporter（如HDFS Exporter、YARN Exporter）采集集群指标（如CPU、内存、磁盘使用率、任务队列长度）；
  • Grafana：数据可视化工具，对接Prometheus数据源，创建仪表板展示关键指标（如HDFS存储使用率趋势、YARN资源利用率），支持告警规则配置。
• Ganglia：分布式监控系统，适用于大规模集群，监控节点CPU、内存、磁盘、网络流量等指标，通过Web界面展示集群整体资源使用情况。
• Zabbix：开源监控系统，支持监控服务器硬件状态、网络设备、Hadoop集群指标（如NameNode负载、DataNode磁盘空间），提供告警功能（邮件、短信）。

3. 日志管理与分析

• 日志位置：Hadoop组件日志默认存储在$HADOOP_HOME/logs目录下（如NameNode日志为hadoop-<user>-namenode-<hostname>.log，YARN ResourceManager日志为yarn-<user>-resourcemanager-<hostname>.log）。
• 日志查看：使用tail -f <log-file>实时追踪日志输出（如tail -f /opt/hadoop/logs/hadoop-root-namenode-localhost.log）；使用grep过滤关键信息（如grep "ERROR" /opt/hadoop/logs/*.log查找错误日志）。

4. 自定义监控脚本

• 编写Shell/Python脚本，定期执行Hadoop命令行工具采集指标（如hdfs dfsadmin -report获取DataNode状态、yarn node -list获取节点列表），并将结果写入日志文件或发送告警（如通过邮件、企业微信）。
• 示例脚本（检查NameNode状态）：

  #!/bin/bash
  namenode_status=$(curl -s http://<namenode-host>:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus")
  if echo "$namenode_status" | grep -q '"State" : "active"'; then
    echo "NameNode is active" >> /var/log/hadoop_monitor.log
  else
    echo "NameNode is not active" | mail -s "Hadoop Alert: NameNode Down" admin@example.com
  fi
  

  该脚本可设置cron定时任务（如每5分钟执行一次），实现自动化监控。

5. JMX监控

• 启用JMX（Java Management Extensions）：在Hadoop配置文件（如hadoop-env.sh）中设置JMX远程访问参数（如export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9000 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"），开启NameNode/DataNode的JMX远程监控。
• 使用工具连接：通过JConsole、VisualVM或Prometheus的JMX Exporter连接到JMX端口，采集JVM内存、线程、GC等指标，实现更细粒度的监控。