CentOS HDFS配置如何验证

验证 CentOS 上 HDFS 配置是否成功，一般从 服务启动、基本命令、Web UI、日志 四个方面来检查。下面按常见步骤说明（适用于 Hadoop 2.x / 3.x，HDFS 已正确安装并配置）。

一、基本环境检查

1. 检查 Hadoop 环境变量

echo $HADOOP_HOME
hadoop version

应输出 Hadoop 版本信息。

2. 检查 Java

java -version

HDFS 依赖 Java，必须已安装。

二、启动 HDFS 并验证

1. 格式化 NameNode（仅第一次）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 检查进程是否启动

jps

✅ 正常应看到：

• NameNode
• DataNode
• SecondaryNameNode（或 Standby NameNode）

三、HDFS 命令验证

1. 查看 HDFS 根目录

hdfs dfs -ls /

2. 创建目录

hdfs dfs -mkdir /test
hdfs dfs -ls /

3. 上传文件

echo "hello hdfs" > test.txt
hdfs dfs -put test.txt /test
hdfs dfs -cat /test/test.txt

✅ 能正常读写说明 HDFS 配置基本正确。

四、Web UI 验证（最直观）

在浏览器中访问：

✅ 能看到：

• Live Nodes（DataNode 数量）
• HDFS 总容量
• 文件系统浏览

五、检查配置文件（常见项）

1. core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

2. hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/namenode</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hadoop/datanode</value>
</property>

✅ 目录存在且权限正确：

ls -ld /data/hadoop/namenode

六、查看日志定位问题

日志一般在：

$HADOOP_HOME/logs/

重点看：

• hadoop-*-namenode-*.log
• hadoop-*-datanode-*.log

常见错误：

• 端口被占用
• 目录权限不足
• SSH 无法免密登录

七、一键快速验证清单 ✅

jps
hdfs dfs -ls /
hdfs dfs -mkdir /demo
hdfs dfs -put test.txt /demo

Web UI 能打开 + 以上命令无报错 ✅

如果你愿意，可以把 Hadoop 版本、报错信息、hdfs-site.xml 配置贴出来，我可以帮你精确判断是否配置正确。