centos如何监控hdfs

在 CentOS 上监控 HDFS（Hadoop Distributed File System），可以从系统层、Hadoop 自带工具、Web UI、第三方监控几个层面来做。下面按常用程度给你一个清晰方案。

一、HDFS 自带监控方式（最基础）

1. HDFS Web UI（推荐）

Hadoop 自带 Web 监控页面：

• NameNode UI

  http://namenode-host:9870
  

  （Hadoop 3.x，2.x 是 50070）

可查看：

• HDFS 总容量 / 已用 / 剩余
• Live / Dead DataNode
• 文件块状态
• 异常日志

2. HDFS 命令行监控

在 CentOS 终端执行：

hdfs dfsadmin -report

常见信息：

• 集群容量
• DataNode 状态
• 副本不足块数

其他命令：

hdfs fsck / -files -blocks

二、CentOS 系统层监控（必做）

1. 进程状态

jps

确认：

• NameNode
• DataNode
• SecondaryNameNode

2. 端口监听

netstat -tunlp | grep java

3. 资源监控

top
free -h
df -h
iostat -x 1

三、日志监控（排错关键）

日志位置（默认）

/var/log/hadoop-hdfs/

重点看：

• hadoop-hdfs-namenode-*.log
• hadoop-hdfs-datanode-*.log

实时查看：

tail -f /var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log

四、JMX + 自动化监控（生产推荐）

1. 开启 JMX

在 hadoop-env.sh 中：

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote"

然后用：

jconsole

或

prometheus + jmx_exporter

五、第三方监控系统（企业级）

方案 1：Prometheus + Grafana（最流行）

• jmx_exporter 采集 HDFS 指标
• Prometheus 存储
• Grafana 展示

监控指标包括：

• Block 数量
• DataNode 存活
• RPC 延迟

方案 2：Zabbix

• 监控端口
• 监控进程
• 自定义脚本调用 hdfs dfsadmin -report

六、常见监控指标（重点关注）

• DataNode 存活数
• Under-Replicated Blocks
• Missing Blocks
• NameNode Heap 使用
• HDFS 使用率（>85% 告警）

七、简单告警示例（Shell）

hdfs dfsadmin -report | grep "Dead datanodes" | awk '{print $3}'

如果你愿意，可以告诉我：

• Hadoop 版本（2.x / 3.x）
• 是否生产环境
• 是否已有 Prometheus / Zabbix

我可以直接给你可落地的监控配置方案。