centos gitlab监控与告警设置

CentOS环境下GitLab监控与告警设置指南

一、监控设置

1. 启用GitLab内置指标服务

要监控GitLab实例，首先需开启其内置的指标端点。编辑GitLab主配置文件/etc/gitlab/gitlab.rb，添加或修改以下配置：

gitlab_rails['gitlab_metrics_enabled'] = true
gitlab_rails['gitlab_metrics_port'] = 9090  # 默认端口，可根据需求调整
global['monitoring_enabled'] = true

保存后执行sudo gitlab-ctl reconfigure应用配置，再通过sudo gitlab-ctl restart重启GitLab服务，使指标服务生效。

2. 集成Prometheus采集GitLab指标

Prometheus是GitLab推荐的监控工具，需先安装并配置Prometheus以抓取GitLab指标：

安装Prometheus：通过YUM仓库或官方二进制包安装（如yum install -y prometheus）。

配置Prometheus抓取任务：编辑/etc/prometheus/prometheus.yml，添加GitLab的抓取配置：

scrape_configs:
  - job_name: 'gitlab'
    static_configs:
      - targets: ['your_gitlab_server_ip:9090']  # 替换为GitLab服务器IP

启动Prometheus：执行systemctl start prometheus并设置开机自启（systemctl enable prometheus），通过Prometheus Web界面（默认http://<IP>:9090）验证是否能成功抓取GitLab指标（如gitlab_rails_database_queries_seconds、gitlab_workhorse_http_requests_total）。

3. 可视化监控数据（Grafana）

Grafana可将Prometheus中的指标转化为直观的仪表盘：

安装Grafana：通过YUM安装（yum install -y grafana），启动服务（systemctl start grafana-server）并设置开机自启。
配置Prometheus数据源：登录Grafana（默认http://<IP>:3000，账号admin，密码admin），进入“Configuration→Data Sources”，添加Prometheus数据源（URL填写http://localhost:9090），测试连接后保存。
导入GitLab监控仪表盘：在Grafana首页点击“+”→“Dashboard”，选择“Import”，输入GitLab官方仪表盘ID（如4379，涵盖CPU、内存、请求延迟等指标），选择Prometheus数据源即可生成可视化面板。

二、告警设置

1. 配置Alertmanager接收告警

Alertmanager负责处理Prometheus触发的告警并发送通知，需先安装并配置：

安装Alertmanager：通过YUM安装（yum install -y alertmanager），启动服务（systemctl start alertmanager）并设置开机自启。

配置Alertmanager通知渠道：编辑/etc/alertmanager/alertmanager.yml，添加邮件通知配置（以邮件为例）：

route:
  receiver: 'email-notifications'
receivers:
  - name: 'email-notifications'
    email_configs:
      - to: 'admin@example.com'
        from: 'gitlab-alerts@example.com'
        smarthost: 'smtp.example.com:587'
        auth_username: 'gitlab_alerts'
        auth_password: 'your_email_password'
        send_resolved: true  # 告警恢复后发送通知

保存后重启Alertmanager（systemctl restart alertmanager）。

2. 定义GitLab告警规则

告警规则可通过两种方式定义：

方式一：通过Prometheus直接定义：在Prometheus配置目录下创建alert.rules文件，添加如下规则（示例为内存使用率超过80%触发告警）：

groups:
  - name: gitlab_alerts
    rules:
      - alert: HighMemoryUsage
        expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes > 0.8
        for: 1m  # 持续1分钟满足条件才触发
        labels:
          severity: warning
        annotations:
          summary: "High memory usage in GitLab"
          description: "GitLab instance memory usage is above 80% (current: {{ $value }})"

在prometheus.yml中引入该文件（rule_files: - "alert.rules"），重启Prometheus使规则生效。

方式二：通过GitLab CI/CD定义：在GitLab项目的根目录创建.gitlab-ci.yml文件，添加监控和告警配置：

monitoring:
  script:
    - apt-get update && apt-get install -y prometheus-node-exporter
    - echo "gitlab_metrics{project=\"$CI_PROJECT_PATH\", ref=\"$CI_COMMIT_REF_NAME\"} 1" >> /etc/prometheus/exporters/gitlab_metrics.prom
  artifacts:
    paths:
      - /etc/prometheus/exporters/gitlab_metrics.prom
    expire_in: 1 week
alerting:
  rules:
    - alert: HighMemoryUsage
      expr: sum(memory_usage) / sum(memory_total) > 0.8
      for: 5m
      labels:
        severity: critical
      annotations:
        summary: "Critical memory usage in {{ $labels.project }}"
        description: "Memory usage in project {{ $labels.project }} is above 80% for 5 minutes."
      notify:
        - name: email
          when: alerting
          email:
            to: 'admin@example.com'

通过CI/CD流水线生成告警指标，并触发Alertmanager通知。

3. 测试告警功能

为确保告警配置正确，可通过以下方式测试：

模拟内存压力：使用stress工具模拟高内存占用（stress --vm 1 --vm-bytes 80% --timeout 10m），观察Prometheus是否触发告警，以及Alertmanager是否发送邮件通知。
查看Alertmanager日志：通过journalctl -u alertmanager -f查看告警处理日志，确认是否有错误信息。

注意事项

确保GitLab服务器防火墙开放了指标端口（默认9090），允许Prometheus访问。
定期检查Prometheus、Grafana、Alertmanager的服务状态，避免因服务停止导致监控中断。
根据实际需求调整告警阈值（如CPU使用率、内存占用），避免过多误报。
参考GitLab官方文档（Monitoring and Alerting）获取最新配置信息，适配不同GitLab版本。