CentOS环境下GitLab的日志分析

CentOS环境下GitLab日志分析

一 日志位置与快速查看

• 日志集中目录为：/var/log/gitlab/。常用组件与用途如下：
  • gitlab-rails/production.log / production_json.log：Rails 应用请求与异常（JSON 格式便于检索与聚合）。
  • nginx/gitlab_access.log / gitlab_error.log：反向代理的访问与错误。
  • sidekiq/sidekiq.log：后台任务（异步作业）执行情况。
  • gitlab-shell/gitlab-shell.log：SSH、git 命令相关操作。
  • unicorn/unicorn_stderr.log：Unicorn/Puma（取决于版本）工作进程标准错误。
  • gitlab-pages/current：GitLab Pages 守护进程日志。
• 快速查看与检索常用命令：
  • 实时查看全部日志：sudo gitlab-ctl tail
  • 查看某组件日志：sudo gitlab-ctl tail gitlab-rails、sudo gitlab-ctl tail nginx/gitlab_error.log
  • 直接查看文件：sudo less /var/log/gitlab/gitlab-rails/production.log、sudo tail -f /var/log/gitlab/gitlab-rails/production.log
  • 按时间过滤（systemd）：sudo journalctl -u gitlab-rails --since "2025-12-01" --until "2025-12-13"。

二 常用分析命令与场景

• 错误与异常定位
  • Rails 异常关键字：sudo grep -iE "error|exception|failed" /var/log/gitlab/gitlab-rails/production.log | tail -50
  • JSON 异常聚合：sudo jq -r 'select(.severity == "ERROR") | "\(.time) \(.message)"' /var/log/gitlab/gitlab-rails/production_json.log | tail -20
  • Nginx 错误：sudo tail -n 100 /var/log/gitlab/nginx/gitlab_error.log | grep -i "502\|499\|timeout"
  • Sidekiq 失败任务：sudo grep -i "failed" /var/log/gitlab/sidekiq/sidekiq.log | tail -20
• 访问与性能
  • 高频 5xx：sudo awk '$9 ~ /^5/ {count[$1]++} END {for(ip in count) print count[ip], ip}' /var/log/gitlab/nginx/gitlab_access.log | sort -nr | head
  • 慢请求（Rails）：sudo grep "Completed .* in [0-9]*ms" /var/log/gitlab/gitlab-rails/production.log | sort -k8 -nr | head（按响应时间字段排序）
  • Top IP：sudo awk '{ips[$1]++} END {for(ip in ips) print ips[ip], ip}' /var/log/gitlab/nginx/gitlab_access.log | sort -nr | head
• 审计与追踪
  • 关键操作审计：在 /admin/monitoring 查看系统健康与指标；结合 Rails 日志中的用户、项目、权限变更等事件进行溯源（必要时导出 production_json.log 到 SIEM 进一步分析）。

三 集中化与可视化

• 使用 ELK Stack（Elasticsearch + Logstash + Kibana） 集中采集与可视化：
  • Logstash 负责多路径采集（如 /var/log/gitlab/）、解析 JSON、丰富字段与时间戳规范化，写入 Elasticsearch；
  • Kibana 建立索引模式、构建仪表盘（如 Nginx 5xx 趋势、Rails 异常 Top、Sidekiq 失败率、Top IP 等）。
• 使用 Prometheus + Grafana 做指标监控与告警（与日志互补）：
  • 通过 GitLab 内置的 /admin/monitoring 页面查看系统健康与性能指标，配置告警规则，实现异常前置预警。

四 日志轮转与容量管理

• Omnibus 包内置 logrotate，可按需调整 /etc/gitlab/gitlab.rb 中的日志轮转参数（如保留天数、压缩等），然后执行 sudo gitlab-ctl reconfigure 使配置生效。
• 系统级日志守护与转发：可结合 rsyslog/syslog-ng 做统一收集与远程落盘，便于合规与审计。
• 审计增强：使用 auditd 记录关键文件与目录的访问变更，补充应用层日志的不足。

五 典型故障排查速查表