如何监控HDFS集群状态
监控HDFS集群状态需结合实时性、可视化、告警能力等多维度需求，通过以下方法实现全面覆盖：
Hadoop提供了基础的命令行和Web工具，适合日常快速查看集群状态：
http://<namenode-host>:50070访问，3.x版本通过http://<namenode-host>:9870访问，可查看集群健康状况、DataNode列表、存储容量使用率、NameNode日志等基础信息。hdfs dfsadmin -report：获取集群整体状态，包括DataNode数量、总容量、可用空间、每个DataNode的存储使用情况；hdfs fsck /：检查HDFS文件系统健康状况，列出损坏的文件或数据块（可添加-delete参数删除损坏块，需谨慎使用）；hdfs dfsadmin -safemode get：查看NameNode是否处于安全模式（安全模式下无法写入数据）；jps：查看Hadoop相关进程（如NameNode、DataNode、ResourceManager）是否正常运行。第三方工具提供实时监控、可视化、告警等高级功能，适合企业级环境：
Hadoop Exporter（将Hadoop JMX指标转换为Prometheus可采集的格式）采集HDFS指标（如磁盘使用率、网络流量、读写延迟、DataNode心跳状态）；check_hdfs等插件监控HDFS健康状态（如DataNode数量、NameNode响应时间），支持邮件/短信告警；HDFS的NameNode和DataNode会将运行日志输出到$HADOOP_HOME/logs目录（如namenode.log、datanode.log），通过分析日志可发现性能瓶颈、故障隐患：
grep、awk等工具过滤日志（如grep "ERROR" namenode.log查看错误日志，grep "BlockReport" datanode.log查看块上报情况）；hadoop cluster log aggregation），将各节点日志收集到HDFS中央存储，便于统一分析。通过Shell、Python等脚本定期执行监控命令，将结果发送给运维人员，适合个性化监控需求：
#!/bin/bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
datanode_count=$(hdfs dfsadmin -report | grep "Number of DataNodes" | awk '{print $NF}')
namenode_status=$(hdfs dfsadmin -report | grep "NameNode" | awk '{print $NF}')
echo "DataNode数量: $datanode_count"
echo "NameNode状态: $namenode_status"
# 若DataNode数量低于阈值，发送邮件告警（需配置mail命令）
if [ $datanode_count -lt 3 ]; then
echo "警告：DataNode数量不足！" | mail -s "HDFS集群异常" admin@example.com
fi
cron定时执行（如每5分钟运行一次），实现自动化监控。Hadoop的NameNode、DataNode支持JMX（Java Management Extensions），可采集内存消耗、线程数量、操作队列长度等内部指标：
jconsole、VisualVM等工具连接Hadoop进程的JMX端口（默认9004，可通过hadoop-env.sh修改），查看实时指标；Hadoop Exporter），实现自动化采集和监控。通过以上方法的组合（如用Web界面做日常检查、用Prometheus+Grafana做实时监控、用脚本做自动化告警），可全面掌握HDFS集群状态，及时发现并解决问题，保障集群稳定运行。
