centos如何测hdfs配置

在 CentOS 上“测 HDFS 配置”通常分几种情况：配置是否正确、HDFS 是否能启动、基本读写是否正常。下面按最常用、最实用的方式来说明。

一、检查 HDFS 配置文件是否正确

HDFS 核心配置文件一般在：

$HADOOP_HOME/etc/hadoop/

重点看这几个文件：

• core-site.xml
• hdfs-site.xml
• hadoop-env.sh

1. 检查 XML 语法

xmllint --noout $HADOOP_HOME/etc/hadoop/core-site.xml
xmllint --noout $HADOOP_HOME/etc/hadoop/hdfs-site.xml

无输出表示语法 OK。

2. 查看关键配置

grep -A2 "fs.defaultFS" $HADOOP_HOME/etc/hadoop/core-site.xml
grep -A2 "dfs.replication" $HADOOP_HOME/etc/hadoop/hdfs-site.xml

二、测试 HDFS 能否启动（不真正影响数据）

1. 格式化前先确认（仅 NameNode 第一次）

hdfs namenode -format

⚠️ 不要重复执行，会清空元数据。

2. 启动 HDFS

start-dfs.sh

3. 查看进程

jps

应至少看到：

• NameNode
• DataNode
• SecondaryNameNode（非 HA 模式）

三、用命令行测试 HDFS 是否可用

1. 查看 HDFS 状态

hdfs dfsadmin -report

2. 测试目录创建

hdfs dfs -mkdir /test
hdfs dfs -ls /

3. 测试文件上传/下载

echo "hello hdfs" > test.txt
hdfs dfs -put test.txt /test/
hdfs dfs -cat /test/test.txt
hdfs dfs -get /test/test.txt ./out.txt

四、Web 界面测试（推荐）

在浏览器访问：

http://<namenode-ip>:9870

（Hadoop 3.x，老版本是 50070）

可看到：

• Live Nodes
• 文件系统
• 配置参数

五、常见 CentOS 环境问题排查

1. 防火墙

systemctl stop firewalld
systemctl disable firewalld

2. SELinux

setenforce 0

或修改：

vi /etc/selinux/config
SELINUX=disabled

3. 主机名解析

cat /etc/hosts

确保：

192.168.1.10 namenode
192.168.1.11 datanode1

4. SSH 免密（启动必须）

ssh-keygen
ssh-copy-id localhost

六、快速自检清单

✅ 配置文件语法正确
✅ jps 有 NameNode / DataNode
✅ hdfs dfs -ls / 正常
✅ Web 页面可访问
✅ 能 put / get 文件

如果你愿意，可以告诉我：

• Hadoop 版本（2.x / 3.x）
• 单机 / 伪分布式 / 集群
• 报错信息

我可以直接帮你“对症测配置”。