Ubuntu Hadoop 日志如何分析

Ubuntu Hadoop 日志分析实操指南

一 日志位置与快速定位

• 本地日志目录：Hadoop 各组件默认写入 $HADOOP_HOME/logs/，常见文件命名模式为：hadoop---.log，例如：
  • NameNode：hadoop-…-namenode-.log
  • DataNode：hadoop-…-datanode-.log
  • ResourceManager：yarn-…-resourcemanager-.log
  • NodeManager：yarn-…-nodemanager-.log
• Web 界面定位：
  • HDFS NameNode：50070（查看节点列表、日志入口）
  • YARN ResourceManager：8088（查看应用与容器日志）
• 任务日志聚合：使用 yarn logs -applicationId <app_id> 拉取指定应用的完整日志（含 AM 与 Container）。

二 命令行高效排查

• 实时跟踪：tail -f $HADOOP_HOME/logs/hadoop--namenode-.log
• 关键字定位：grep -n “ERROR|Exception” $HADOOP_HOME/logs/hadoop--datanode-.log
• 时间窗口筛选：sed -n ‘/2025-12-16 10:00:/,/2025-12-16 11:00:/p’ $HADOOP_HOME/logs/yarn--nodemanager-.log
• 大文件浏览：less +F $HADOOP_HOME/logs/hadoop--namenode-.log（进入后按 F 实时跟踪）
• 系统服务日志（若以 systemd 托管）：journalctl -u hadoop-.service -S “2025-12-16 10:00:00” -U “2025-12-16 11:00:00”
• 任务级日志聚合：yarn logs -applicationId application_1234567890_0001
• 辅助定位命令：
  • 集群概况：hdfs dfsadmin -report
  • 文件系统健康：hdfs fsck /
  • 浏览 HDFS 日志目录：hadoop fs -ls /tmp/logs 或 /var/log/hadoop-yarn（若已配置日志聚合到 HDFS）

三 常见错误模式与定位要点

• NameNode 无法启动或反复格式化后 DataNode 起不来
  • 典型日志关键词：Incompatible namespaceIDs
  • 成因：多次 format 导致 namespaceID 不一致
  • 处置：清理 dfs.data.dir 后重启，或统一 namespaceID 再启动
• 节点间不通或写入失败
  • 典型日志关键词：NoRouteToHostException、Bad connect ack
  • 处置：检查防火墙/安全组、网络连通性、主机名解析（/etc/hosts 与 /etc/hostname）
• 处于安全模式导致写入被拒
  • 典型日志关键词：SafeModeException
  • 处置：等待自动退出或执行 hadoop dfsadmin -safemode leave
• 权限不足
  • 典型日志关键词：Permission denied
  • 处置：hdfs dfs -chmod/chown 调整权限或以有权限用户执行
• 内存不足
  • 典型日志关键词：Java heap space
  • 处置：在 hadoop-env.sh 中调大 HADOOP_HEAPSIZE（如 2048、4096 MB）并重启相关进程

四 系统化分析流程

• 明确现象与范围：是 HDFS（读写/启动）还是 YARN/作业（提交/运行/失败）问题，记录时间点与 applicationId/containerId。
• 先看聚合日志：用 yarn logs -applicationId <app_id> 获取 AM/Container 完整输出，优先定位失败阶段（AM 初始化、Map/Reduce、Shuffle）。
• 再看组件日志：按组件查看 $HADOOP_HOME/logs/ 对应节点的最新日志，结合时间窗口过滤（如 sed/awk/grep）。
• 交叉验证：配合 hdfs dfsadmin -report、hdfs fsck / 与 jps 检查进程与数据块健康，排除环境与数据层问题。
• 复现与修复：在测试环境复现后实施修复（如网络/权限/配置/磁盘），修复后回归验证并补充日志标注。

五 日志集中化与长期分析

• 启用日志聚合：将 yarn.log-aggregation-enable=true，使应用日志统一上传至 HDFS（常见目录 /tmp/logs 或配置路径），便于统一检索与留存。
• 集中化与可视化：引入 ELK/EFK 或 Logstash/Flume + 存储/可视化 方案，对多节点日志进行采集、解析与检索，提升排障效率与可观测性。