centos hdfs如何查日志

centos

小樊

2026-10-12 06:02:21

栏目: 智能运维

在 CentOS 上查看 HDFS 日志，通常取决于你用的是 Hadoop 发行版（Apache / CDH / HDP） 以及你是查 哪个组件 的日志（NameNode / DataNode / JournalNode 等）。

下面按最常见场景给你说明。

一、HDFS 日志默认位置（Apache Hadoop）

1️⃣ 日志目录（最常见）

$HADOOP_HOME/logs/

或

/var/log/hadoop-hdfs/

常见日志文件：

hadoop-hdfs-namenode-<hostname>.log
hadoop-hdfs-datanode-<hostname>.log
hadoop-hdfs-secondarynamenode-<hostname>.log
hadoop-hdfs-journalnode-<hostname>.log

示例：

tail -f /var/log/hadoop-hdfs/hadoop-hdfs-namenode-node1.log

二、CDH / Cloudera 环境

日志路径：

/var/log/hadoop-hdfs/

例如：

/var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-*.log.out

也可通过 Cloudera Manager → 日志 → 对应角色 查看。

三、HDP / Ambari 环境

/var/log/hadoop/

四、常用查看命令

实时查看

tail -f <日志文件>

查看错误

grep ERROR <日志文件>

查看某时间点日志

less <日志文件>

然后 /2024-01-01 10:

五、HDFS 自身日志（Web UI）

NameNode Web UI

http://<namenode-ip>:9870

（Hadoop 3.x）

或

http://<namenode-ip>:50070

（Hadoop 2.x）

可查看：

Logs
Metrics
Active/Standby 状态

六、通过 journalctl（如果是 systemd 启动）

journalctl -u hadoop-hdfs-namenode
journalctl -u hadoop-hdfs-datanode

七、HDFS 命令审计日志（操作记录）

如果你指的是谁删了文件、谁提交了作业：

/var/log/hadoop-hdfs/hadoop-hdfs-audit.log

八、快速排查思路（实用）

NameNode 起不来

tail -100 /var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log

DataNode 未注册

tail -100 /var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log

权限问题
```
grep -i "permission" <日志>
```

如果你能告诉我：

Hadoop 版本（2.x / 3.x）
发行版（Apache / CDH / HDP）
查哪个组件日志（NameNode / DataNode / 用户操作）

我可以给你更精确的命令。