CentOS中HDFS的日志如何查看分析
小樊
38
2025-11-14 06:19:01
CentOS中HDFS日志查看与分析
一 日志位置与类型
- 运行日志默认在：/var/log/Bigdata/hdfs/角色名/（如 nn、dn、zkfc、jn、router、httpfs），审计日志在：/var/log/Bigdata/audit/hdfs/角色名/。常见文件：
- 运行日志：hadoop-<SSH_USER>-<process_name>-.log
- 标准输出/错误：hadoop-<SSH_USER>-<process_name>-.out
- GC日志：<process_name>-<SSH_USER>---gc.log
- 审计日志：hdfs-audit-<process_name>.log、ranger-plugin-audit.log、SecurityAuth.audit
- 其他运维日志：hdfs-recover-fsimage.log、hdfs-backup-fsimage.log、hdfs-switch-namenode.log、hadoop-<SSH_USER>-balancer-.log 等
- 若未使用厂商发行版或自定义安装，日志也可能在 $HADOOP_HOME/logs/ 下，命名类似：hadoop--namenode-.log。
二 快速查看与检索
- 实时查看与关键字过滤
- 实时跟踪：tail -f /var/log/Bigdata/hdfs/nn/hadoop--namenode-.log
- 错误与告警：tail -F hdfs.log | grep -E “ERROR|WARN”
- 错误次数统计：awk ‘/ERROR/{print $1}’ hdfs.log | sort | uniq -c | sort -nr
- 审计日志聚焦关键操作
- 查看文件访问/变更：grep -E “open|create|delete|rename” /var/log/Bigdata/audit/hdfs//hdfs-audit-.log
- 系统服务日志（若以systemd管理）
- 查看NameNode：journalctl -u hadoop-namenode -f
- 辅助定位
- 集群健康与块分布：hdfs dfsadmin -report
- 文件系统一致性检查：hdfs fsck /
三 日志级别与动态调整
- 日志级别（优先级从高到低）：FATAL > ERROR > WARN > INFO > DEBUG。
- 动态调整（无需重启，立即生效）
- 管理控制台方式：进入HDFS服务的“全部配置”→选择对应角色→“日志”菜单→设置日志级别→保存并确认生效。
- 配置文件方式（需重启）
- 编辑：$HADOOP_HOME/etc/hadoop/log4j.properties
- 示例：将HDFS相关日志提升到DEBUG
- log4j.logger.org.apache.hadoop.hdfs=DEBUG
- 使配置生效：$HADOOP_HOME/sbin/stop-dfs.sh && $HADOOP_HOME/sbin/start-dfs.sh
- 验证：tail -f $HADOOP_HOME/logs/hadoop--namenode-.log | grep DEBUG。
四 日志轮转归档与清理
- 自动压缩归档
- 默认当日志超过100MB自动压缩，命名规则：<原日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip
- 最多保留最近100个压缩文件（可在管理界面调整保留个数）
- 系统级logrotate（可选）
- 在 /etc/logrotate.d/hadoop 中配置轮转策略（如按日轮转、保留7天、压缩等），避免日志无限增长。
五 常见故障定位路径与可视化
- 常见故障定位路径
- NameNode启动/元数据异常：查看 hdfs-recover-fsimage.log、hdfs-backup-fsimage.log、hdfs-service-check.log、hadoop--namenode-.log
- 主备切换问题：查看 hdfs-switch-namenode.log、hdfs-haCheck.log
- 块与磁盘问题：查看 datanode-disk-check.log、hdfs-availability-check.log、DataNode运行日志
- GC与停顿：查看 <process_name>-<SSH_USER>---gc.log、<process_name>-jvmpause.log
- 均衡与迁移：查看 hadoop-<SSH_USER>-balancer-.log、hdfs-period-check.log
- 安全与授权：查看 SecurityAuth.audit、ranger-plugin-audit.log
- 可视化与集中分析
- 集中式日志平台：ELK Stack（Elasticsearch + Logstash + Kibana） 或 Splunk，统一采集、检索、可视化与告警
- 指标与可视化：Prometheus + Grafana 配合 Hadoop metrics 或 JMX Exporter 做容量与性能趋势分析。
