如何监控CentOS中HDFS的性能
监控CentOS环境中HDFS（Hadoop分布式文件系统）的性能，需结合自带工具、命令行操作、第三方监控方案及日志分析，从实时状态、长期指标、异常预警等多维度覆盖，确保集群稳定运行。以下是具体方法：
Hadoop NameNode、DataNode及ResourceManager均提供内置Web界面，可直接访问获取集群基础性能信息：
http://<namenode-host>:9870（Hadoop 3.x），展示集群总体健康状态、DataNode数量、存储容量使用率、命名空间信息等；http://<datanode-host>:9864（Hadoop 3.x），显示单个节点的磁盘使用、网络传输速率、块存储详情；http://<resourcemanager-host>:8088，监控YARN资源分配情况及正在运行的MapReduce/Spark作业。Hadoop提供多组命令行工具，用于快速获取HDFS状态及诊断性能问题：
hdfs dfsadmin -report：获取HDFS整体概况，包括DataNode列表、存储容量（总/已用/剩余）、不正常副本数、丢失块数等；hdfs fsck /：检查HDFS文件系统完整性，识别损坏或丢失的块（需root权限），命令可添加-move参数自动处理损坏块；hdfs dfs -du -h /path：查看指定目录/文件的存储占用（人类可读格式），辅助分析存储热点；hdfs balancer：平衡集群数据分布（需NameNode权限），避免数据倾斜导致的节点负载不均。Hadoop Exporter（将HDFS JMX指标转换为Prometheus可采集的格式）收集HDFS指标，Prometheus存储并处理数据，Grafana负责可视化展示；HDFS的NameNode（namenode.log）、DataNode（datanode.log）及ResourceManager（yarn-resourcemanager.log）会记录运行日志，通过分析日志可定位性能瓶颈：
core-site.xml中配置hadoop.log.aggregate.enabled=true，将各节点日志收集到NameNode的中央存储（如HDFS路径/var/log/hadoop），便于统一查看；grep过滤错误日志（如grep -i "error" namenode.log），或通过ELK Stack（Elasticsearch+Logstash+Kibana）实现日志的集中存储、检索与可视化。通过系统自带命令实时查看HDFS所在节点的资源使用情况，辅助判断性能问题根源：
dstat：综合监控CPU、内存、磁盘IO、网络传输等指标（需安装：yum install dstat）；iostat：查看磁盘IO利用率（iostat -x 1，需安装sysstat包），重点关注%util（磁盘繁忙程度）及await（IO等待时间）；netstat：监控网络连接状态（netstat -tulnp | grep java），查看HDFS进程的网络端口占用情况。编写Shell/Python脚本定期执行监控命令（如hdfs dfsadmin -report），解析输出结果并通过邮件、短信或企业微信发送告警：
#!/bin/bash
expected_datanodes=3
actual_datanodes=$(hdfs dfsadmin -report | grep "Live datanodes" | awk '{print $3}')
if [ "$actual_datanodes" -lt "$expected_datanodes" ]; then
echo "Warning: Only $actual_datanodes DataNodes are live!" | mail -s "HDFS DataNode Alert" admin@example.com
fi
cron设置每5分钟运行一次（crontab -e添加*/5 * * * * /path/to/script.sh）。通过上述方法的组合，可实现CentOS环境下HDFS性能的全面监控——从实时状态查看、具体指标分析到长期趋势可视化，及时发现并解决数据倾斜、节点故障、资源不足等问题，保障HDFS集群的高效稳定运行。
