HDFS在Linux中的监控机制设置
一 监控体系与入口
- 命令行巡检
- 使用hdfs dfsadmin -report查看DataNode数量、容量、剩余空间等；用hdfs dfsadmin -safemode get检查是否处于安全模式；用hdfs fsck /检查文件系统健康与块分布。配合jps确认NameNode/DataNode进程存活。以上适合日常快速巡检与故障定位。
- Web UI
- NameNode UI：Hadoop 3.x默认http://:9870，Hadoop 2.x默认http://:50070，可查看集群健康、DataNode存活、存储使用率、块报告等。
- DataNode UI：http://:50075，用于观察单节点磁盘、块上报等状态。
- ResourceManager UI：http://:8088，用于关联查看YARN侧对HDFS读写的影响。
二 基于Prometheus Grafana的监控与告警
- 指标采集
- 方案A（推荐）：在NameNode/DataNode上部署JMX Exporter，通过JMX暴露HDFS指标，Prometheus拉取这些指标。
- 方案B：使用Hadoop Exporter将HDFS的JMX指标转换为Prometheus可采集的格式。
- Prometheus配置示例
- 在prometheus.yml中添加抓取任务（示例为JMX Exporter默认端口9999）：
- job_name: ‘hdfs-namenode’
static_configs:
- targets: [‘namenode-host:9999’]
- job_name: ‘hdfs-datanode’
static_configs:
- targets: [‘datanode-host1:9999’,‘datanode-host2:9999’]
- Grafana可视化
- 在Grafana中添加Prometheus数据源，导入HDFS相关Dashboard（如社区Hadoop/HDFS面板），展示容量、块、吞吐、复制等时序指标。
- 告警规则示例（Prometheus）
- groups:
- name: hdfs
rules:
- alert: HDFSUseHigh
expr: 1 - (sum by(instance)(hdfs_namenode_fsnamesystem_CapacityRemaining) / sum by(instance)(hdfs_namenode_fsnamesystem_CapacityTotal)) > 0.8
for: 5m
labels: severity: warning
annotations:
summary: “HDFS {{ $labels.instance }} 使用率超过80%”
- alert: HDFSMissingBlocks
expr: increase(hdfs_namenode_fsnamesystem_MissingBlocks[5m]) > 0
for: 0m
labels: severity: critical
annotations:
summary: “HDFS {{ $labels.instance }} 出现丢失块”
- 节点资源补充
- 在各节点部署Node Exporter，采集CPU、内存、磁盘IO、网络等主机指标，与HDFS指标联动分析。
三 企业级与替代方案
- Zabbix：通过自定义监控项/脚本（如解析dfsadmin -report输出）或JMX方式监控HDFS，结合触发器与动作实现邮件/短信告警，适合已有Zabbix体系的团队。
- Ambari/CDH：提供HDFS指标大盘、告警与运维向导，适合CDH/HDP发行版用户进行一体化监控与配置管理。
- Ganglia/nmon：用于节点级资源监控与可视化，适合与HDFS指标互补，观察I/O、网络、CPU对HDFS性能的影响。
四 关键监控指标与建议阈值
| 维度 |
关键指标 |
建议阈值/动作 |
| 容量 |
HDFS使用率 |
>**80%**预警，> 90%严重；结合balancer均衡数据，清理无用数据 |
| 可用性 |
DataNode存活数/心跳 |
心跳丢失**>5分钟**触发严重告警；检查网络/磁盘/进程 |
| 数据完整性 |
MissingBlocks/CorruptBlocks |
出现即严重告警；优先恢复副本或排查磁盘 |
| 复制与健康 |
UnderReplicatedBlocks/PendingReplicationBlocks |
持续增长时告警；检查磁盘空间、网络、DataNode健康 |
| 性能 |
读写吞吐、块报告延迟 |
与基线偏离**>20%需排查；关注磁盘IO、网络带宽** |
| JVM与GC |
NameNode堆内存、GC次数/时间 |
堆使用率高或Full GC频繁告警；考虑堆调优/扩容 |
| 安全模式 |
Safemode状态 |
非维护窗口下处于安全模式需告警；检查启动/恢复流程 |
| 主机资源 |
磁盘使用率、IO等待、网络丢包 |
磁盘>85%或IO等待高告警；清理或迁移数据，排查硬件 |
五 快速落地步骤
- 建立基线：梳理容量、吞吐、副本、心跳等常态指标，设定合理阈值与通知策略。
- 打通采集链路：部署JMX/Hadoop Exporter→Prometheus→Grafana，并接入Alertmanager或Zabbix告警通道。
- 补齐节点视角：各节点部署Node Exporter，统一展示主机+HDFS指标。
- 建立巡检手册：固化dfsadmin/fsck/jps与NameNode/DataNode UI巡检流程，异常自动转工单。
- 与YARN/存储联动：结合ResourceManager UI与磁盘/网络指标，定位读写慢/失败的根因。
