在CentOS上监控Hadoop任务,可使用以下工具和方法:
- Web界面:通过YARN的ResourceManager Web UI(http://resourcemanager:8088)可查看任务运行状态、资源使用等。若使用Ambari或Cloudera Manager部署集群,也可通过其Web界面监控。
- 命令行工具:使用
yarn application -list查看任务列表,yarn application -kill结束异常任务,还可通过hdfs dfsadmin等命令检查HDFS状态。
- 第三方监控工具:Prometheus + Grafana可采集和可视化Hadoop指标,Ganglia、Zabbix等可监控集群资源及任务相关指标。