linux hadoop如何查看日志

在 Linux 上查看 Hadoop 日志，常见方式取决于你用的是 Hadoop 版本（主要是 2.x/3.x）以及 部署方式（单机 / 伪分布式 / YARN）。下面按最常用场景给你系统说明。

一、Hadoop 日志存放位置（最常见）

1️⃣ Hadoop 日志默认目录

$HADOOP_HOME/logs/

常见文件：

hadoop-root-namenode-hostname.log
hadoop-root-datanode-hostname.log
hadoop-root-resourcemanager-hostname.log
hadoop-root-nodemanager-hostname.log

示例：

ls $HADOOP_HOME/logs

二、查看 HDFS 相关日志

NameNode 日志

tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log

DataNode 日志

tail -f $HADOOP_HOME/logs/hadoop-*-datanode-*.log

SecondaryNameNode（如果有）

tail -f $HADOOP_HOME/logs/hadoop-*-secondarynamenode-*.log

三、查看 YARN 日志（重点）

如果你跑的是 MapReduce / Spark on YARN，日志主要在 YARN。

1️⃣ ResourceManager 日志

tail -f $HADOOP_HOME/logs/hadoop-*-resourcemanager-*.log

2️⃣ NodeManager 日志

tail -f $HADOOP_HOME/logs/hadoop-*-nodemanager-*.log

四、查看某个 YARN 应用的日志（强烈推荐）

1️⃣ 查看正在运行或历史应用

yarn application -list

2️⃣ 查看某个 Application 的日志

yarn logs -applicationId application_1680000000000_01

✅ 这是排查任务失败最常用的方法

五、通过 Web UI 查看（最直观）

HDFS

http://namenode-host:9870

Utilities → Browse the file system
Datanodes
Logs

YARN

http://resourcemanager-host:8088

点击 Application
查看 Attempts
查看 Container logs

六、如果日志被聚合（生产环境常见）

开启日志聚合后

日志不在 NodeManager 本地，而在 HDFS：

yarn logs -applicationId <appId>

日志存储在：

/user/logs/

七、常见错误日志关键词（排错必看）

在日志中搜索：

grep -i error hadoop-*-datanode-*.log
grep -i exception hadoop-*-namenode-*.log

常见关键词：

Connection refused
Disk full
Permission denied
OutOfMemoryError
Retrying connect to server

八、快速排查流程（推荐）

# 1. 看服务是否启动
jps

# 2. 看 NameNode / DataNode 日志
tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log

# 3. 看 YARN 应用
yarn application -list
yarn logs -applicationId xxx

九、如果你愿意，我可以更精确帮你

你可以直接告诉我：

Hadoop 版本（2.x / 3.x）
报错的服务（HDFS / YARN / MapReduce / Spark）
报错日志片段

我可以直接帮你定位问题 ✅