Java日志在CentOS上的故障排查步骤

Java日志在CentOS上的故障排查步骤

一快速定位与初步检查

确认进程与启动方式：使用命令查看 Java PID、启动用户、JAR/主类、工作目录、启动参数，例如：
- ps -ef | grep java
- 若为 systemd 服务：systemctl status your-app.service
找到日志文件位置：常见路径为应用目录下的 logs/，或应用配置中指定的 logging.file.name（如 Spring Boot），以及容器日志如 catalina.out（Tomcat）。优先查看这些文件的最新输出。
实时查看与关键字过滤：
- tail -f /path/to/app.log
- grep -i “ERROR|Exception” /path/to/app.log
- 若通过 systemd 托管：journalctl -u your-app.service -f
检查系统层面线索：/var/log/messages、内核日志等可能包含 OOM、磁盘、权限、网络 等系统级异常。必要时用 journalctl 按时间或优先级过滤。

二常见故障场景与对应处理

日志框架冲突与配置错误：项目中若同时引入 Log4j、Logback、SLF4J 等，易出现重复输出或初始化失败。处理要点：
- 保证依赖唯一、桥接正确（如 log4j-to-slf4j、jul-to-slf4j），仅保留一个最终日志实现。
- 核对配置文件名与路径（如 log4j.properties/log4j.xml、logback.xml、logging.properties）是否被正确加载。
日志文件不可写或路径错误：应用启动后日志不生成或写入失败，常见于 路径不存在、权限不足、磁盘已满。处理要点：
- 检查并修正日志目录权限（如 chmod/chown），确保运行用户对日志目录可写。
- 使用 df -h 检查磁盘空间，清理或扩容。
内存不足与 OOM：出现 OutOfMemoryError 时，先临时提升堆内存（如 -Xmx/-Xms），再抓取 heap dump 分析泄漏：
- java -Xmx2g -Xms1g -jar app.jar
- jmap 生成堆转储，使用 Eclipse MAT 分析 Dominator Tree。
类找不到与依赖缺失：出现 ClassNotFoundException/NoClassDefFoundError，检查 classpath、依赖打包（fat jar）、部署目录 是否一致。
SQL 异常：核对 JDBC URL、驱动版本、账号权限、数据库连通性 与网络策略。

三提升日志可见性与滚动管理

动态调整日志级别（无需重启，视框架支持）：
- Log4j：Logger.getLogger(…).setLevel(Level.DEBUG);
- Logback：((Logger) LoggerFactory.getLogger(…)).setLevel(Level.DEBUG);
通过配置文件调整（需重启生效）：
- Log4j：log4j.rootLogger=DEBUG, console, file
- Logback：…
- java.util.logging：.level=FINE，ConsoleHandler.level=FINE
日志轮转与保留策略：
- 使用 logrotate 防止日志无限增长，示例：
  - /path/to/*.log { daily missingok rotate 7 compress notifempty create 640 appuser appgroup }
- 在应用内使用 RollingFileAppender/TimeBasedRollingPolicy 控制按大小/时间滚动与历史保留。

四集中化与长期监控建议

集中式日志：在规模扩大或多机环境下，部署 ELK（Elasticsearch/Logstash/Kibana） 或 Graylog，或使用 Filebeat 将日志发往集中平台，便于检索、可视化与告警。
系统日志与审计：利用 rsyslog/journalctl 做统一采集与查询，必要时结合 Auditd 做安全审计。
监控与报表：使用 Zabbix/Prometheus 配合日志关键字或解析器（如 grok_exporter）实现主动告警与趋势分析。

五一键排查命令清单

查看与跟踪：
- ps -ef | grep java
- tail -f /var/log/your-app/*.log
- journalctl -u your-app.service -f --since “10 minutes ago”
关键字与错误定位：
- grep -n -A5 -B5 “ERROR|Exception” /var/log/your-app/app.log
- grep -i “OutOfMemoryError” /var/log/your-app/*.log
系统与磁盘：
- tail -n50 /var/log/messages
- df -h；du -sh /var/log /opt/your-app
权限与路径：
- ls -ld /var/log/your-app /opt/your-app/logs
- namei -l /var/log/your-app/app.log
内存与转储：
- jstat -gc 1s
- jmap -dump:format=b,file=heap.hprof （事后用 MAT 分析）

最新问答