温馨提示×

Hadoop在Linux中的日志管理如何操作

小樊
42
2025-09-08 20:52:29
栏目: 智能运维

一、日志文件位置

  • HDFS/var/log/hadoop-hdfs/$HADOOP_HOME/logs/
  • YARN/var/log/hadoop-yarn/$HADOOP_HOME/logs/yarn-*
  • MapReduce$HADOOP_HOME/logs/userlogs/(作业日志)。

二、常用查看命令

  • 实时查看tail -f <日志文件路径>,如 tail -f hadoop-hdfs-namenode-*.log
  • 查看前N行head -n 10 <日志文件路径>
  • 搜索关键词grep "ERROR" <日志文件路径>
  • 提取特定字段awk '{print $1, $2}' <日志文件路径>

三、日志分析工具

  • 命令行工具sed(文本替换)、sort/uniq(排序去重)。
  • 可视化工具
    • ELK Stack:Elasticsearch存储日志,Logstash处理日志,Kibana可视化。
    • Grafana:结合Prometheus展示日志监控数据。

四、日志轮转与归档

  • 使用logrotate:编辑 /etc/logrotate.d/hadoop 配置文件,设置按天轮转、压缩等策略,例如:
    /var/log/hadoop-hdfs/*.log {
        daily
        rotate 7
        compress
        missingok
    }
    ```。
    
    

五、日志级别调整

  • 修改配置文件:编辑 $HADOOP_HOME/etc/hadoop/log4j.properties,修改 log4j.rootLogger 级别(如 DEBUGERROR)。
  • 动态生效:部分场景无需重启服务,可通过环境变量临时调整(需配置支持)。

六、集群日志聚合

  • 启用YARN日志聚合:在 yarn-site.xml 中配置 yarn.log-aggregation-enable=true,并指定聚合存储路径。
  • 通过Web界面查看:访问ResourceManager的Web UI(默认端口8088)查看聚合日志。

0