在 CentOS 上监控 HDFS(Hadoop Distributed File System)状态,可以从命令行工具、Web UI、系统指标、第三方监控几个层面来做。下面按常用程度给你一个系统性的说明。
hdfs dfsadmin -report
可以看到:
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
(适用于 HA 模式)
hdfs fsck / -files -blocks -locations
用于检查:
hdfs dfsadmin -safemode get
默认端口:
http://namenode:50070http://namenode:9870可以查看:
http://datanode:9864(Hadoop 3.x)jps
确认关键进程:
top
free -h
df -h
iostat -x 1
重点看:
tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log
tail -f $HADOOP_HOME/logs/hadoop-*-datanode-*.log
如果 Hadoop 用 systemd 管理:
systemctl status hadoop-namenode
systemctl status hadoop-datanode
示例:
hdfs dfsadmin -report | grep "Dead Datanodes" | awk '{print $3}'
结合邮件或钉钉告警。
✅ Live DataNode 数量
✅ 剩余存储空间
✅ 副本不足块数
✅ NameNode RPC 延迟
✅ 网络吞吐
✅ GC 时间(NameNode)
如果你愿意,可以告诉我:
我可以给你具体的监控脚本或配置示例。