Linux环境下Hadoop监控如何进行

Linux环境下Hadoop监控实践指南

一 快速巡检与内置工具

• 进程与服务存活检查：使用jps确认关键进程是否存在（如：NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager）。
• HDFS健康与容量：执行hdfs dfsadmin -report查看总容量、已用、剩余、DataNode数量与状态；用**hdfs fsck /**检查文件系统健康状况与块一致性。
• YARN资源与作业：用yarn node -list -all查看节点列表与状态；用yarn application -list -appStates ALL查看所有作业状态与进度。
• 原生Web界面：
  • HDFS NameNode：http://:9870（Hadoop 3.x；Hadoop 2.x 常用 50070）
  • YARN ResourceManager：http://:8088
    以上可直观查看集群概况、节点列表、应用运行与日志入口。

二 日志与系统层面排查

• 日志定位与分析：Hadoop日志默认位于**$HADOOP_HOME/logs**，重点关注NameNode、DataNode、ResourceManager、NodeManager的**.log/.out文件；配合tail -f**、grep快速检索异常堆栈与告警。
• 系统资源：用top/htop、vmstat、iostat观察CPU、内存、I/O；用df -h、du -sh核查磁盘空间与inode；必要时清理临时或过期数据。
• 网络连通与端口：用ping、traceroute排查节点间连通性；确认防火墙放行关键端口（如8088、50070/9870、50075等），避免访问受阻。
• 配置与变量：核对core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml关键配置；检查HADOOP_HOME、PATH等环境变量是否正确。

三 指标监控与可视化

• JMX直采：Hadoop（含YARN）支持JMX远程监控，开启后在目标组件上配置JMX端口与鉴权，通过JMX Exporter或监控代理抓取指标。
• Prometheus + Grafana：以Prometheus采集时序指标、Grafana做可视化面板，结合Hadoop Exporter/JMX Exporter构建集群/节点/作业多维监控大盘。
• 传统与替代方案：使用Ganglia、Zabbix、Nagios进行主机与应用层监控；或使用Ambari做集中式监控与生命周期管理（适合多组件一体化运维）。

四 关键指标与告警建议

• HDFS：关注集群容量/已用/剩余、DataNode存活数、Missing/Under-Replicated Blocks、Block Reports 延迟；容量阈值与副本不足需及时扩容或修复。
• YARN：监控集群/队列资源使用率、NodeManager心跳与健康、Container/Pending 数量、应用失败/重试次数、AM/Container 异常退出；资源紧张或频繁失败需调整队列配额、容器规格或抢占策略。
• 主机层面：跟踪CPU/内存/磁盘IO/网络与磁盘空间/inode；当磁盘剩余空间或inode接近阈值、或I/O持续高企时触发告警。
• 日志异常：对ERROR/WARN关键字、异常堆栈与频繁GC进行实时告警，结合**日志分析平台（如 ELK）**做聚合与检索。

五 落地实施步骤

• 明确目标与SLO：定义容量、可用性、作业成功率等目标与阈值，梳理告警分级与升级策略。
• 打通采集链路：在NameNode/ResourceManager/DataNode/NodeManager上启用JMX，部署Exporter并接入Prometheus；为Grafana导入或自建面板。
• 建立日志管道：将**$HADOOP_HOME/logs统一采集至ELK**，配置grok解析与告警规则。
• 配置主机监控：在Zabbix/Ganglia等平台覆盖CPU/内存/磁盘/网络，与Hadoop指标联动展示。
• 告警演练与回归：对磁盘满、副本不足、节点宕机、作业大面积失败等场景做演练，验证告警可达性与处置流程；形成值班手册与应急预案。