Debian 上监控 GitLab 的实用方案
一 监控体系与总体架构
- 建议采用分层监控：系统层（资源与进程）、GitLab 应用层（Rails、Sidekiq、Nginx）、日志层（实时与历史分析）、可视化告警层（Prometheus + Grafana + Alertmanager）。
- 典型组件与用途：
- 系统层：top/htop、nmon、collectl、Netdata，用于 CPU、内存、磁盘 I/O、网络等基础性能观测。
- 应用层：Prometheus 抓取 GitLab 与节点指标，Grafana 可视化与面板，Alertmanager 负责告警路由与通知。
- 日志层：journalctl、/var/log/gitlab/ 目录日志，gitlab-ctl tail 快速排查，Logrotate/ELK/Graylog 做持久化与检索分析。
二 快速落地步骤 Prometheus Grafana Alertmanager
- 安装组件（Debian 仓库或官方包均可）：
- Prometheus：收集与存储时序指标；Grafana：可视化与告警面板；Alertmanager：分组、抑制与通知。
- 配置 Prometheus 抓取 GitLab：
- 编辑 /etc/prometheus/prometheus.yml，新增抓取任务（示例）：
- job_name: ‘gitlab’
static_configs:
- targets: [‘your_gitlab_server_address:9090’]
- 配置 GitLab 暴露指标：
- 编辑 /etc/gitlab/gitlab.rb，启用指标（示例）：
- gitlab_rails[‘gitlab_metrics_enabled’] = true
- gitlab_runner[‘gitlab_metrics_enabled’] = true
- 应用配置并重启：sudo gitlab-ctl reconfigure && sudo gitlab-ctl restart
- 启动服务并验证：
- 访问 http://:9090（Prometheus），确认 Targets 中 gitlab 为 UP。
- Grafana 可视化：
- 启动 Grafana（默认 3000 端口），添加 Prometheus 数据源（URL：http://:9090），导入 GitLab 相关面板并创建仪表盘。
- Alertmanager 与告警规则：
- 部署 Alertmanager，配置路由与通知（如邮件、Slack、Webhook）。
- 在 Prometheus 中加载告警规则（示例）：
- groups:
- name: gitlab_alerts
rules:
- alert: HighCPUUsage
expr: 1 - avg by(instance)(rate(node_cpu_seconds_total{mode=“idle”}[5m])) > 0.8
for: 5m
labels: severity: warning
annotations:
summary: “High CPU Usage on {{ $labels.instance }}”
description: “CPU usage is above 80% for more than 5 minutes”.
三 日志监控与问题排查
- 实时与历史查看：
- 使用 journalctl：sudo journalctl -u gitlab；按时间筛选：sudo journalctl --since “2024-01-01” --until “2024-01-31”
- 使用 gitlab-ctl tail：sudo gitlab-ctl tail；按组件：sudo gitlab-ctl tail gitlab-rails
- 直接查看日志文件：/var/log/gitlab/（如 production.log、sidekiq/current、gitlab-shell.log 等）
- 日志分析与集中化：
- 使用 grep/awk/sed 做关键字检索；结合 ELK（Elasticsearch/Logstash/Kibana） 或 Graylog 做集中存储、检索与可视化。
- 日志轮转与保留：
- 通过 Logrotate 管理日志切割、压缩与保留；可在 /etc/gitlab/gitlab.rb 中自定义策略（如频率与保留天数），然后执行 gitlab-ctl reconfigure 使配置生效。
四 关键指标与告警示例
- 建议重点观测与告警的指标类别：
- 系统资源：CPU 使用率、内存使用率、磁盘 I/O 与空间、网络流量与错误包。
- GitLab 组件：Unicorn/Puma 请求延迟与排队、Sidekiq 队列长度与重试率、PostgreSQL/Redis 连接与慢查询、Nginx 状态码与请求耗时。
- Prometheus 告警规则示例（按需求调整阈值与持续时间）：
- CPU 持续高占用：
- expr: 1 - avg by(instance)(rate(node_cpu_seconds_total{mode=“idle”}[5m])) > 0.8
for: 5m
- 内存使用率高：
- expr: (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) > 0.8
for: 5m
- 磁盘空间不足（根分区）：
- expr: 1 - (node_filesystem_avail_bytes{mountpoint=“/”} / node_filesystem_size_bytes{mountpoint=“/”}) > 0.85
for: 10m
- Sidekiq 队列堆积：
- expr: sidekiq_queue_size{queue=“default”} > 100
for: 10m
- HTTP 5xx 增多（示例阈值）：
- expr: rate(nginx_http_requests_total{status=~“5…”}[5m]) / rate(nginx_http_requests_total[5m]) > 0.01
for: 5m
五 可选工具与扩展
- 系统性能工具：collectl（细粒度资源采集）、Netdata（开箱即用的实时仪表盘，默认端口 19999）。
- 第三方监控：Zabbix、Datadog、New Relic 等，可与现有监控体系集成，提供更高级的异常检测与容量分析。
- 性能压测与容量评估：使用 GitLab Performance Tool（GPT） 进行场景化压测与瓶颈定位（适合版本 12.5+ 的 GitLab）。
