Linux HDFS配置如何检查

在 Linux 上检查 HDFS（Hadoop Distributed File System）配置，通常从 配置文件、服务状态、HDFS 本身 三个层面入手。下面按常见场景给你一个完整检查清单。

一、检查 HDFS 配置文件

Hadoop 的配置文件一般在：

$HADOOP_HOME/etc/hadoop/

或（某些发行版）：

/etc/hadoop/conf/

1️⃣ 核心配置文件

重点检查以下文件：

2️⃣ 检查 NameNode 地址（最关键）

cat $HADOOP_HOME/etc/hadoop/core-site.xml

重点看：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

✅ 确认：

• namenode 是否可解析
• 端口是否正确（常见：9000 / 8020）

3️⃣ 检查 HDFS 数据目录

cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml

常见关键配置：

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/dfs/name</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hadoop/dfs/data</value>
</property>

✅ 检查：

• 目录是否存在
• 权限是否正确（hdfs 用户）

二、检查 HDFS 服务状态

1️⃣ 查看进程是否启动

jps

✅ 至少应有：

• NameNode
• DataNode
• SecondaryNameNode（或 Standby NameNode）

❌ 若缺失，说明服务未启动或挂掉

2️⃣ 启动 / 重启 HDFS（如未启动）

start-dfs.sh

或单独启动：

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

三、使用 HDFS 命令检查配置是否生效

1️⃣ 查看 HDFS 状态

hdfs dfsadmin -report

✅ 正常输出应包含：

• Live datanodes
• 各节点容量、使用情况

2️⃣ 检查 HDFS 是否可访问

hdfs dfs -ls /

✅ 无报错说明配置基本正确

3️⃣ 查看 NameNode Web UI

浏览器访问：

http://namenode:9870

（Hadoop 3.x）

或：

http://namenode:50070

（Hadoop 2.x）

✅ 可查看：

• 集群状态
• DataNode 列表
• HDFS 配置摘要

四、检查日志（排查问题必看）

NameNode 日志

$HADOOP_HOME/logs/hadoop-*-namenode-*.log

DataNode 日志

$HADOOP_HOME/logs/hadoop-*-datanode-*.log

常见错误：

• Incompatible clusterIDs
• Directory not found
• Permission denied

五、快速自检清单（推荐）

echo $HADOOP_HOME
jps
hdfs dfsadmin -report
hdfs dfs -ls /
cat $HADOOP_HOME/etc/hadoop/core-site.xml
cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml

六、常见错误 & 解决

如果你愿意，可以把以下信息发我，我可以直接帮你定位问题：

• Hadoop 版本
• core-site.xml / hdfs-site.xml
• jps 输出
• 报错日志片段