温馨提示×

centos如何检查hdfs状态

小樊
49
2026-08-31 05:17:36
栏目: 智能运维

在 CentOS 上检查 HDFS 状态,通常取决于你是单机伪分布式还是集群环境,以及你是否使用 Hadoop / CDH / HDP。下面按最常用方式给你一个完整清单。


一、前提条件

  • 已安装 Hadoop
  • 已配置好 HADOOP_HOME
  • 已启动 HDFS(NameNode / DataNode

二、最常用:Hadoop 自带命令

1️⃣ 查看 HDFS 整体状态

hdfs dfsadmin -report

✅ 显示:

  • Live datanodes 数量
  • 总容量 / 已用 / 剩余
  • 每个 DataNode 信息

示例输出说明:

Live datanodes (3):
Name: 192.168.1.10:9866

2️⃣ 检查 NameNode 状态(重点)

hdfs dfsadmin -safemode get

返回值:

  • Safe mode is OFF ✅ 正常
  • Safe mode is ON ⚠️ 只读,不能写入

强制离开安全模式(谨慎):

hdfs dfsadmin -safemode leave

3️⃣ 查看 HDFS 是否健康

hdfs fsck /

✅ 检查:

  • 块是否缺失
  • 副本是否足够
  • 是否有损坏文件

常用参数:

hdfs fsck / -files -blocks -locations

三、通过 Web UI 查看(最直观)

NameNode Web UI

http://namenode-host:9870

(Hadoop 3.x)

Hadoop 2.x 默认端口:

http://namenode-host:50070

可以看到:

  • Live Nodes
  • Dead Nodes
  • HDFS 容量
  • 安全模式状态

四、检查 HDFS 服务是否运行(CentOS)

1️⃣ 使用 jps(最常用)

jps

✅ 正常看到:

NameNode
DataNode
SecondaryNameNode

如果缺少:

  • 没启动
  • 或环境变量没配好

2️⃣ systemctl(如果是服务方式)

systemctl status hadoop-namenode
systemctl status hadoop-datanode

(取决于你的安装方式)


五、检查 HDFS 目录是否可用

hdfs dfs -ls /

✅ 能列出目录说明 HDFS 正常


六、查看 HDFS 日志(出问题必看)

日志位置一般在:

$HADOOP_LOG_DIR

或:

/tmp/hadoop-*/logs/

重点日志:

  • hadoop-*-namenode-*.log
  • hadoop-*-datanode-*.log

七、常见问题速查

问题 检查方式
HDFS 无法写入 hdfs dfsadmin -safemode get
DataNode 没起来 jps / 日志
块丢失 hdfs fsck /
端口不通 `netstat -tnlp
磁盘满 df -h

八、一句话总结

CentOS 上检查 HDFS 状态,最推荐:

jps
hdfs dfsadmin -report
hdfs dfsadmin -safemode get
http://ip:9870

如果你愿意,可以告诉我:

  • ✅ Hadoop 版本(2.x / 3.x)
  • ✅ 是否 Cloudera / Ambari
  • ✅ 报错信息

我可以给你更精确的排查方案。

0