Java日志在CentOS上的监控最佳实践

Java日志在CentOS上的监控最佳实践

一 基础与系统侧监控

• 统一采集路径与权限：将应用日志输出到固定目录（如 /var/log/app/），确保运行用户（如 appuser）对该目录有读写权限；系统侧关键日志集中在 /var/log/（如 messages、secure、audit/audit.log），便于统一检索与归档。
• 实时查看与过滤：使用 tail -f 跟踪最新日志；用 grep 过滤关键字（如 ERROR、Exception）；结合 journalctl -u 查看 systemd 服务日志，支持按时间窗口与优先级过滤（如 -p err）。
• 安全与审计：重点审计 /var/log/secure（认证与授权）、/var/log/audit/audit.log（系统审计事件），配合 rsyslog 做集中与远程转发，便于合规与追溯。
• 例行巡检：用 logwatch 生成日报/周报，快速了解错误趋势与异常模式。

二 日志规范与轮转

• 日志格式标准化：在 Logback/Log4j2 中统一使用结构化格式（如 JSON 或键值对），包含 timestamp、level、thread、logger、trace_id、span_id、message、exception 等字段，便于检索、聚合与链路追踪。
• 异步与性能：启用异步日志（如 AsyncAppender/AsyncLogger），避免同步写磁盘阻塞业务线程；合理设置 bufferSize、queueSize，在吞吐与延迟间平衡。
• 日志级别策略：生产默认 INFO，按需开启 DEBUG/TRACE；对特定包或类临时调级，问题定位后及时恢复，防止日志洪泛。
• 日志轮转与保留：使用 logrotate 管理应用与 GC 日志，建议按天轮转、保留 7–30 天、启用压缩；示例配置路径 /etc/logrotate.d/app：
  • /var/log/app/*.log { daily rotate 14 compress missingok copytruncate delaycompress notifempty }
• GC 日志：开启 -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/var/log/app/gc.log，并纳入 logrotate，便于分析停顿与内存问题。

三 集中化与可视化方案

• 轻量方案（中小规模）：Grafana Loki + Promtail + Grafana。Promtail 采集 /var/log/app/ 与应用标准输出，按标签（如 app、env、host）发送到 Loki；Grafana 建立日志仪表盘与告警规则，成本低、上手快。
• 功能完备方案（中大型）：ELK（Elasticsearch + Logstash/Beats + Kibana）。Filebeat/Logstash 负责采集与解析（如 Grok 将非结构化日志结构化），Elasticsearch 存储与检索，Kibana 负责可视化与告警。
• 日志与指标联动：在 Java 应用中同时暴露 Micrometer/Prometheus 指标（如 http_requests_total、jvm_memory_used_bytes），用 Prometheus + Grafana 做指标告警，与日志告警形成互补，缩短 MTTR。

四 告警与应急

• 告警规则设计：
  • 错误突发：单位时间窗口内 ERROR 数量超过阈值（如 > 10/分钟）。
  • 异常模式：日志中出现 OutOfMemoryError、StackOverflowError、Connection refused 等关键词。
  • 安全事件：在 /var/log/secure 检测到多次 Failed password、异常 sudo 执行等。
  • GC 异常：连续多次 Full GC、GC 时间占比异常升高。
• 路由与升级：按 env（prod/staging）、service 分组，P1 告警 5 分钟 内电话/短信，P2 15 分钟 内 IM 通知，P3 汇总日报。
• 应急脚本与自愈：编写 Shell/Python 脚本定期扫描错误并触发动作（如重启服务、隔离节点、限流），通过 systemd 或 Kubernetes 健康检查配合自动恢复；脚本与任务需留痕与幂等。
• 变更留痕：告警触发与处置动作写入审计日志，便于复盘与合规。

五 落地检查清单