Ubuntu Hadoop 日志查看技巧有哪些

Ubuntu环境下Hadoop日志查看与管理技巧

1. 日志文件定位

Hadoop的日志默认存储在$HADOOP_HOME/logs目录下（$HADOOP_HOME为Hadoop安装路径）。常见日志文件包括：

• NameNode：hadoop-<username>-namenode-<hostname>.log
• DataNode：hadoop-<username>-datanode-<hostname>.log
• ResourceManager：hadoop-<username>-resourcemanager-<hostname>.log
• NodeManager：hadoop-<username>-nodemanager-<hostname>.log
  可通过ls $HADOOP_HOME/logs命令查看所有日志文件，或使用less、cat命令直接打开指定文件。

2. 常用日志查看命令

• 实时监控日志：使用tail -f命令实时查看日志文件的更新（如NameNode日志），便于跟踪实时运行状态。
  示例：tail -f $HADOOP_HOME/logs/hadoop-hadoop-namenode-master.log
• 查看文件头部：使用head -n命令查看日志文件的前N行（如查看前10行）。
  示例：head -n 10 $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave1.log
• 查看完整内容：使用cat命令输出日志文件的完整内容（适合小文件）。
  示例：cat $HADOOP_HOME/logs/hadoop-hadoop-namenode-master.log
• 提取指定行范围：使用sed命令提取日志文件的某一行范围（如第2至200行）。
  示例：sed -n '2,200p' $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log
• 关键词搜索：使用grep命令搜索日志中的关键词（如“ERROR”“Segmentation fault”），快速定位问题。
  示例：grep "ERROR" $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log
• 统计错误次数：结合grep -c统计关键词出现的次数（如统计ERROR日志数量）。
  示例：grep -c "ERROR" $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log
• 查看错误上下文：使用tail命令查看错误发生前后的上下文（如最后100行）。
  示例：tail -100 $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log

3. 利用Hadoop内置工具查看日志

• YARN日志查看：通过yarn logs命令查看应用程序的日志（如MapReduce作业）。需指定应用程序ID（可通过yarn application -list获取）。
  示例：yarn logs -applicationId application_1234567890000_0001
• Web界面查看：通过Hadoop的Web界面查看日志，无需直接操作服务器。
  • NameNode日志：http://<namenode-host>:50070/logs/
  • ResourceManager日志：http://<resourcemanager-host>:8088/cluster/app/<application-id>/logs
    登录界面后可选择对应组件或应用程序，查看实时日志。

4. 日志过滤与分析技巧

• 组合命令过滤：结合grep、tail、awk等命令进行高级过滤。例如，查看包含“ERROR”的最后10行日志：
  tail -100 $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log | grep "ERROR"
• 统计错误类型：使用awk提取错误类型并统计数量（如按“ERROR:”后面的关键词分类）。
  示例：awk '/ERROR:/{print $3}' $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log | sort | uniq -c
• 保存过滤结果：将过滤后的日志保存到新文件，便于后续分析。
  示例：grep "ERROR" $HADOOP_HOME/logs/hadoop-hadoop-datanode-master.log > error_logs.txt。

5. 日志配置优化（可选但实用）

• 调整日志级别：修改$HADOOP_HOME/etc/hadoop/log4j.properties文件，改变日志输出的详细程度。例如，将根日志级别设置为DEBUG（详细日志）或ERROR（仅错误日志）：
  log4j.rootLogger=DEBUG, console（调试模式）或log4j.rootLogger=ERROR, console（生产模式）。
  也可针对特定组件调整级别（如NameNode）：
  log4j.logger.org.apache.hadoop.hdfs.server.namenode=DEBUG
• 配置日志滚动：避免日志文件过大，可在log4j.properties中添加滚动策略（如按天滚动，保留10个备份文件，每个文件最大10MB）：

  log4j.appender.file=org.apache.log4j.RollingFileAppender
  log4j.appender.file.File=${hadoop.log.dir}/hadoop.log
  log4j.appender.file.MaxFileSize=10MB
  log4j.appender.file.MaxBackupIndex=10
  log4j.appender.file.layout=org.apache.log4j.PatternLayout
  log4j.appender.file.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
  

  修改后需重启Hadoop服务使配置生效。