linux hdfs配置如何排查

在 Linux 上排查 HDFS（Hadoop Distributed File System）配置问题，可以从「进程 → 配置 → 日志 → 网络 → 权限」逐步排查。下面是一套比较系统的排查思路。

一、确认 Hadoop / HDFS 是否安装正确

which hdfs
hadoop version

能正常输出版本说明基础环境 OK
若命令不存在，检查：
- HADOOP_HOME 是否配置
- PATH 是否包含 $HADOOP_HOME/bin

二、检查 HDFS 进程是否启动

jps

正常应有：

NameNode
DataNode
SecondaryNameNode（非 HA 模式）

常见问题：

只有 NameNode 没有 DataNode → 配置或目录问题
都没有 → Hadoop 没启动

启动命令：

start-dfs.sh

三、检查核心配置文件

主要文件位置：

$HADOOP_HOME/etc/hadoop/

1️⃣ core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

2️⃣ hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/namenode</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hadoop/datanode</value>
</property>

✅ 检查点：

路径是否存在
权限是否正确
fs.defaultFS 是否一致

四、检查目录和权限

ls -ld /data/hadoop/namenode
ls -ld /data/hadoop/datanode

目录必须存在
属主应为运行 Hadoop 的用户

修复示例：

mkdir -p /data/hadoop/namenode
mkdir -p /data/hadoop/datanode
chown -R hadoop:hadoop /data/hadoop

五、格式化 NameNode（仅首次）

⚠️ 会清空元数据，仅第一次或重建集群使用

hdfs namenode -format

六、查看日志（最重要）

日志目录：

$HADOOP_HOME/logs/

重点文件：

hadoop-*-namenode-*.log
hadoop-*-datanode-*.log

常见错误：

Directory xxx does not exist
Permission denied
Cannot assign requested address
Incompatible clusterIDs

七、网络与防火墙

1️⃣ 主机名解析

hostname
cat /etc/hosts

确保：

127.0.0.1   localhost
192.168.1.10 master

2️⃣ 端口监听

netstat -tunlp | grep 9000

或：

ss -tunlp | grep 9000

3️⃣ 防火墙

systemctl stop firewalld
# 或
iptables -F

八、HDFS 自身状态检查

hdfs dfsadmin -report

看 DataNode 是否注册
看容量是否正常

测试读写：

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /test

九、常见典型问题速查

问题	可能原因
DataNode 起不来	clusterID 不一致
无法连接 NameNode	fs.defaultFS 错
权限拒绝	目录权限不对
SafeMode	刚启动或未达标
端口冲突	9000 被占用

解除安全模式：

hdfs dfsadmin -safemode leave

十、如果你愿意

你可以直接把以下信息发我，我帮你精准定位：

Hadoop 版本
报错日志（关键几行）
core-site.xml / hdfs-site.xml
jps 输出

我可以一步一步帮你改配置。