如何检查Linux HDFS配置

检查 Linux 上 HDFS 配置 通常包括 配置文件、环境变量、服务状态、HDFS 本身运行状态 等多个方面。下面按 常用且实用 的方式给你一个完整检查清单。

一、确认 Hadoop / HDFS 是否已安装

which hdfs
hadoop version

或

hdfs version

✅ 正常情况会显示 Hadoop 版本信息
❌ 若命令不存在，说明未安装或未配置环境变量

二、检查 HDFS 相关配置文件

Hadoop 的配置文件一般在：

$HADOOP_HOME/etc/hadoop/

或（系统安装）

/etc/hadoop/conf/

1️⃣ 核心配置文件

重点检查以下文件：

文件	作用
`core-site.xml`	全局配置（如 HDFS URI）
`hdfs-site.xml`	HDFS 专用配置
`hadoop-env.sh`	Java / Hadoop 环境变量
`workers` / `slaves`	DataNode 节点列表

检查 core-site.xml

cat $HADOOP_HOME/etc/hadoop/core-site.xml

重点配置：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

检查 hdfs-site.xml

cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml

常见配置项：

dfs.namenode.name.dir
dfs.datanode.data.dir
dfs.replication
dfs.permissions.enabled

三、检查环境变量

echo $HADOOP_HOME
echo $JAVA_HOME

若无输出，说明未配置或配置未生效。

✅ 可在以下文件中检查：

~/.bashrc
~/.bash_profile
/etc/profile

示例：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk

四、检查 HDFS 服务是否运行

1️⃣ NameNode / DataNode 进程

jps

✅ 正常应看到：

NameNode
DataNode
SecondaryNameNode（可选）

❌ 若缺失，说明服务未启动或配置错误

2️⃣ 启动 / 停止 HDFS

start-dfs.sh
stop-dfs.sh

五、使用 HDFS 命令检查配置是否生效

1️⃣ 查看 HDFS 根目录

hdfs dfs -ls /

2️⃣ 查看 HDFS 报告（最重要 ✅）

hdfs dfsadmin -report

输出包含：

NameNode 信息
DataNode 数量
磁盘使用情况
副本数

六、检查 HDFS 日志

日志路径一般：

$HADOOP_HOME/logs/

重点日志：

hadoop-*-namenode-*.log
hadoop-*-datanode-*.log

查看错误：

tail -n 100 hadoop-*-namenode-*.log

七、检查端口监听（网络配置）

netstat -tnlp | grep java

或

ss -tnlp | grep java

常见端口：

NameNode：9870（Web UI）
HDFS RPC：9000 / 8020

八、快速自检清单（✅ 推荐）

hadoop version
echo $HADOOP_HOME
jps
hdfs dfsadmin -report
cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml

九、常见错误 & 原因

问题	原因
`command not found`	HADOOP_HOME 未配置
`Connection refused`	NameNode 未启动
`DataNode 未注册`	配置错误或格式化问题
权限拒绝	HDFS 权限或用户问题

如果你愿意，可以把以下信息发我，我可以帮你 精准定位问题：

hdfs dfsadmin -report 输出
hdfs-site.xml
报错日志片段

我也可以按 单机 / 伪分布式 / 完全分布式 给你对应检查方案。