centos配置hdfs如何验证

在 CentOS 上完成 HDFS 配置后，可以按下面步骤逐项验证是否配置成功。

一、基础环境检查

1. 检查 Java 环境

HDFS 依赖 Java：

java -version

应能看到 Java 8 或以上版本。

确认 JAVA_HOME：

echo $JAVA_HOME

若未设置，可在 /etc/profile 或 ~/.bashrc 中配置：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

二、Hadoop / HDFS 配置检查

2. 检查 Hadoop 环境变量

echo $HADOOP_HOME
hadoop version

能看到 Hadoop 版本即说明环境变量正常。

3. 检查 HDFS 配置文件

常用配置路径：$HADOOP_HOME/etc/hadoop

重点关注：

core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

（单机伪分布式 replication=1）

三、启动 HDFS 并验证

4. 格式化 NameNode（仅第一次）

hdfs namenode -format

成功标志：

Storage directory /tmp/hadoop-*/dfs/name has been successfully formatted

5. 启动 HDFS

start-dfs.sh

或分开启动：

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

6. 检查进程是否启动

jps

✅ 正常应看到：

NameNode
DataNode
SecondaryNameNode

四、验证 HDFS 是否正常工作

7. 查看 HDFS 状态

hdfs dfsadmin -report

应能看到 Live datanodes。

8. 创建 HDFS 目录

hdfs dfs -mkdir /test

不报错即成功。

9. 上传文件到 HDFS

echo "hello hdfs" > test.txt
hdfs dfs -put test.txt /test/

10. 查看文件是否上传成功

hdfs dfs -ls /test
hdfs dfs -cat /test/test.txt

输出：

hello hdfs

五、Web UI 验证（推荐）

在浏览器访问：

• NameNode UI

http://<centos-ip>:9870

能看到 HDFS 状态、DataNode 信息即说明配置成功。

六、常见错误排查

1. 端口未监听

netstat -ntlp | grep 9000
netstat -ntlp | grep 9870

2. 防火墙未关闭

systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld

3. SSH 无法免密

ssh localhost

若失败：

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

七、快速验证清单 ✅

如果你愿意，可以把 报错日志或配置贴出来，我可以帮你精确排查是哪一步出问题（比如 NameNode 起不来、DataNode 没注册、权限问题等）。