linux hadoop怎样排错

在 Linux 上使用 Hadoop 时，排错一般遵循**“从日志入手 → 定位层级 → 逐项排查”**的思路。下面给你一套实用、可操作的排错方法。

一、先明确问题发生在哪一层

Hadoop 常见故障层级：

1. 系统/环境层：Java、SSH、防火墙、主机名
2. HDFS 层：NameNode / DataNode 异常
3. YARN 层：ResourceManager / NodeManager 异常
4. 作业层：MapReduce / Spark 任务失败
5. 配置层：xml 配置错误

二、第一步：看日志（最重要）

1️⃣ Hadoop 日志位置

$HADOOP_HOME/logs/

常见日志文件：

• hadoop-<user>-namenode-<host>.log
• hadoop-<user>-datanode-<host>.log
• yarn-<user>-resourcemanager-<host>.log
• yarn-<user>-nodemanager-<host>.log

实时查看：

tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log

2️⃣ 错误关键词

重点搜：

• ERROR
• Exception
• Connection refused
• Permission denied
• Timeout
• No route to host

三、常见错误 & 排查方法

✅ 1. 启动失败 / 进程起不来

jps

正常应有：

• NameNode
• DataNode
• ResourceManager
• NodeManager

常见问题：

• SSH 未配置免密

  ssh-keygen
  ssh-copy-id node2
  

• 防火墙未关

  systemctl stop firewalld
  

• 主机名解析错误

  cat /etc/hosts
  

✅ 2. NameNode 无法启动

日志常见：

Directory /tmp/hadoop-xxx/dfs/name is in an inconsistent state

解决：

hdfs namenode -format

⚠️ 会清空 HDFS 数据，仅测试环境使用

✅ 3. DataNode 未连接 NameNode

日志：

Retrying connect to server: namenode/192.168.x.x:9000

检查：

• core-site.xml 中 fs.defaultFS 是否正确
• 端口是否通

telnet namenode 9000

✅ 4. HDFS 无法写入

错误：

Permission denied: user=xx, access=WRITE

解决：

hdfs dfs -chmod -R 777 /
# 或指定用户
hdfs dfs -chown -R user:user /

✅ 5. YARN 任务失败

看：

yarn logs -applicationId application_xxxx

常见原因：

• 内存不足
• 容器被 kill
• 依赖缺失

四、配置排错技巧

1️⃣ 校验 XML 配置

xmllint --noout core-site.xml

2️⃣ 查看当前生效配置

hdfs getconf -confKey fs.defaultFS

五、通用排错 checklist ✅

• [ ] jps 进程是否齐全
• [ ] /etc/hosts 是否正确
• [ ] SSH 是否免密
• [ ] 防火墙是否关闭
• [ ] Java 版本是否兼容
• [ ] 日志中是否有 ERROR
• [ ] HDFS 是否处于 SafeMode

hdfs dfsadmin -safemode get

六、如果你愿意

你可以直接把：

• 错误日志
• jps 输出
• 相关 xml 配置

发给我，我可以帮你精准定位问题。