linux hdfs配置怎样测试

在 Linux 上测试 HDFS 配置是否成功，一般按下面几个层次来做：从「进程能否起来」→「命令行能否用」→「读写功能是否正常」。

一、基础环境检查

1. 检查 Java

HDFS 依赖 Java：

java -version

建议 JDK 8 或 11（与 Hadoop 版本匹配）

2. 检查 Hadoop 环境变量

echo $HADOOP_HOME
hadoop version

能看到版本信息说明安装没问题。

二、测试 HDFS 进程是否启动

1. 启动 HDFS

start-dfs.sh

2. 查看进程

jps

应至少看到：

• NameNode
• DataNode
• SecondaryNameNode（伪分布式）

三、测试 HDFS 命令行

1. 查看 HDFS 状态

hdfs dfsadmin -report

能看到 DataNode 信息说明配置基本正确。

2. 测试目录操作

hdfs dfs -mkdir /test
hdfs dfs -ls /

3. 测试文件上传 / 下载

echo "hello hdfs" > test.txt
hdfs dfs -put test.txt /test/

hdfs dfs -cat /test/test.txt
hdfs dfs -get /test/test.txt ./out.txt

四、Web 页面测试（推荐）

• NameNode UI：

http://localhost:9870

（Hadoop 3.x，老版本是 50070）

可看到：

• Live Nodes
• 文件系统浏览

五、常见问题快速排查

1. 连接失败

Connection refused

检查：

• core-site.xml 中 fs.defaultFS

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

2. DataNode 没起来

查看日志：

tail -n 100 $HADOOP_HOME/logs/hadoop-*-datanode-*.log

常见原因：

• 多次格式化 NameNode
• clusterID 不一致

解决：

stop-dfs.sh
rm -rf /tmp/hadoop-*   # 测试环境
hdfs namenode -format
start-dfs.sh

六、简单测试脚本（可用）

hdfs dfs -mkdir -p /demo
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /demo
hdfs dfs -ls /demo

如果你愿意，可以告诉我：

• 你是 伪分布式 还是 集群
• Hadoop 版本
• 报错信息

我可以帮你针对性排查配置。