CentOS上HDFS监控工具有哪些

CentOS上常用的HDFS监控工具与方案

一 内置与命令行工具

• hdfs dfsadmin -report：查看集群容量、DataNode 数量、已用/剩余空间、块信息等，适合快速体检。
• hdfs fsck /：检查文件系统完整性与块健康，定位损坏文件与缺失副本。
• hdfs balancer：数据分布不均衡时执行均衡，缓解热点与容量倾斜。
• hdfs dfs -du /、hdfs dfs -ls /：目录/文件级容量与清单核对，辅助容量盘点。
• jps：确认 NameNode/DataNode/JournalNode 等进程是否在运行。
• nmon：Linux 层面的 CPU、内存、磁盘 I/O、网络 实时监控，用于定位节点级瓶颈。

二 Web 界面与可视化

• NameNode Web UI：常用地址为 50070（Hadoop 2.x） 或 9870（Hadoop 3.x），可查看集群健康、DataNode 列表、存储使用、正在进行的操作等。
• Hadoop UI / HDFS 页面：用于基础健康与性能概览。
• Ambari / Cloudera Manager：企业级集群管理与监控平台，提供 仪表盘、告警、配置管理 与 HDFS 专项视图。
• Hue：Web 化的 Hadoop 门户，便于文件浏览与作业提交，配合监控做日常巡检。

三 开源监控与告警平台

• Prometheus + Grafana：以时间序列方式采集与展示指标，适合做容量趋势、延迟、错误率等可视化与告警。
• Hadoop Exporter / JMX Exporter：将 NameNode/DataNode 的 JMX 指标暴露为 Prometheus 可拉取的数据。
• JMXTrans：采集 JVM/JMX 指标并转发到多种后端（如 Graphite、InfluxDB、Prometheus）。
• Zabbix：集中式监控与灵活告警，支持通过脚本/插件采集 HDFS 指标与日志关键字。
• Ganglia：面向大规模集群的分布式监控，擅长 CPU、内存、磁盘 I/O、网络 等系统层指标聚合展示。
• Nagios：老牌告警系统，配合插件可实现 HDFS 关键指标与进程存活检测。

四 日志分析与故障排查

• 日志路径：HDFS 组件日志通常位于 /var/log/hadoop-hdfs/，包含 NameNode/DataNode 的运行与错误日志。
• 分析方法：结合日志与 Metrics，定位慢节点、异常块、磁盘故障、网络抖动等；必要时联动 fsck、balancer 做修复与再均衡。

五 选型建议与关键指标

• 选型要点：明确监控范围（HDFS 层 vs 系统层）、易用性、可扩展性、社区与文档、成本；建议先做 小规模 PoC 再定方案。
• 关键监控项：容量类（总/已用/剩余/使用率）、副本与块健康（Missing/Under-Replicated/Failed Blocks）、节点可用性（Dead/Decommissioning DataNodes）、读写成功率与延迟、JVM GC/堆使用、磁盘/网络 I/O、安全模式与均衡状态等。