linux hdfs配置怎么排查

在 Linux 上排查 HDFS 配置问题，一般按「配置 → 进程 → 日志 → 网络 → 权限」的顺序来。下面给你一套实用排查清单。

一、确认 HDFS 基本配置文件

HDFS 核心配置通常在：

$HADOOP_HOME/etc/hadoop/

重点文件：

• core-site.xml
• hdfs-site.xml
• hadoop-env.sh
• workers（或 slaves）

1. core-site.xml 检查

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

✅ 确认：

• namenode 主机名/IP 正确
• 端口未被占用

2. hdfs-site.xml 检查

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/namenode</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hadoop/datanode</value>
</property>

✅ 注意：

• 目录必须存在
• 属主必须是 hadoop 用户

二、检查环境变量

echo $HADOOP_HOME
echo $JAVA_HOME

确认：

• hadoop-env.sh 中 JAVA_HOME 正确
• 多台机器环境一致

三、检查 HDFS 进程是否启动

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode（非 HA）

❌ 少了谁，就查谁的日志

四、查看 HDFS 日志（最关键）

日志目录：

$HADOOP_HOME/logs/

常用命令：

tail -n 200 hadoop-*-namenode-*.log
tail -n 200 hadoop-*-datanode-*.log

常见错误

• Incompatible clusterIDs → 格式化不一致
• Directory does not exist → 目录权限问题
• Connection refused → 网络/端口问题

五、测试 HDFS 是否可用

hdfs dfs -ls /

或

hdfs dfsadmin -report

❌ 报错多为：

• 配置错误
• NameNode 没起来
• 防火墙

六、网络和防火墙排查

ping namenode
telnet namenode 9000

或

ss -lntp | grep 9000

关闭防火墙（测试用）：

systemctl stop firewalld

七、权限问题

ls -ld /data/hadoop

修复：

chown -R hadoop:hadoop /data/hadoop

八、如果刚格式化过

⚠️ 只在 NameNode 格式化一次

hdfs namenode -format

格式化后 DataNode 要清空数据目录，否则 clusterID 不一致

九、快速自检命令合集

jps
hdfs dfsadmin -report
hdfs haadmin -getServiceState nn1
tail -f $HADOOP_HOME/logs/*.log

如果你愿意，可以把具体报错日志 / 配置文件内容贴出来，我可以直接帮你定位是哪一步配置错了。