linux hadoop怎么查日志

在 Linux 上查看 Hadoop 日志，通常分几种情况：Hadoop 自身组件日志、YARN 任务日志、HDFS 相关日志。下面按常见场景说明。

一、Hadoop 自带日志（最常用）

1️⃣ 日志默认目录

一般在：

$HADOOP_HOME/logs

或

/var/log/hadoop

（取决于安装方式）

常见日志文件：

hadoop-<user>-namenode-<hostname>.log
hadoop-<user>-datanode-<hostname>.log
yarn-<user>-resourcemanager-<hostname>.log
yarn-<user>-nodemanager-<hostname>.log

查看示例：

tail -f $HADOOP_HOME/logs/hadoop-root-namenode-master.log

二、YARN 任务（Job / Application）日志

方法 1：yarn logs 命令（推荐）

yarn logs -applicationId application_123456_0001

查看实时：

yarn logs -applicationId application_123456_0001 -log_files stdout

方法 2：Web UI

• ResourceManager：

http://<resourcemanager>:8088

→ 点 Application → Logs

三、NodeManager 本地日志

任务运行时的本地日志：

$HADOOP_HOME/logs/userlogs/application_xxxx/

结构示例：

application_123_0001/
├── container_123_0001_01_000001/
│   ├── stdout
│   ├── stderr
│   └── syslog

四、HDFS 审计日志（可选）

如果开启：

$HADOOP_HOME/logs/hdfs-audit.log

五、常见排查命令

# 实时查看
tail -f xxx.log

# 查找错误
grep ERROR xxx.log

# 查找异常栈
grep -A 20 Exception xxx.log

六、日志级别调整（临时）

yarn app -updateLogLevels <appId> root=DEBUG

如果你能告诉我：

• ✅ Hadoop 版本（2.x / 3.x）
• ✅ 查的是 NameNode / YARN / MapReduce / Spark on YARN
• ✅ 报错信息或现象

我可以给你更精确的日志路径和排查思路。