GitLab在CentOS上的性能瓶颈如何排查

GitLab在CentOS上的性能瓶颈排查路线图

一 快速定位瓶颈

• 资源与进程
  • 查看整体资源：free -h、vmstat 1、iostat -x 1、df -h、ss -s、top/htop。
  • 定位高占用进程：ps aux --sort=-%mem | head -20，重点关注 puma、sidekiq、postgres、gitaly。
• 组件日志
  • 统一查看组件日志：gitlab-ctl tail（必要时 tail -f /var/log/gitlab/**/*.log）。
  • 内存与后台任务线索：gitlab-rake gitlab:memory；结合日志时间戳与慢操作关联分析。
• 访问与网络
  • 复现问题路径（网页、git fetch/clone、CI 拉取/推送），用 curl -w 统计时延；必要时在客户端记录 time git push。
  • 检查网络与连接：ss -lntp | grep :80|:443，确认连接堆积与 TIME_WAIT 过多等现象。
• 数据库与缓存
  • 观察数据库负载与慢查询（PostgreSQL 日志、pg_stat_statements 如有），确认是否存在全表扫描、锁等待。
  • 检查缓存命中与连接：Redis 慢日志与 info 命令，确认是否缓存穿透/击穿导致回源到 DB。
• 存储与对象存储
  • 若附件/备份走对象存储，核对访问延迟与错误率；本地磁盘关注 IOPS/延迟与空间使用率。
• 监控与告警
  • 启用并核对 GitLab 自带监控与自监控项目（Admin Area → Monitoring → Metrics），结合 Prometheus/Grafana 建立关键指标面板与阈值告警。

二 常见瓶颈与验证方法

三 关键指标与阈值建议

• 系统资源
  • CPU：load average 持续高于 CPU 核数；vmstat us+sy 长期 > 70%。
  • 内存：available 接近 0、频繁 si/so；无 Swap 时 OOM 风险高（建议至少 2–4GB Swap）。
  • 磁盘：iostat await 明显升高、util 接近 100%；df 使用率长期 > 80%。
• GitLab 组件
  • Puma：进程 RSS 持续增长或单 worker 超过 1–2GB；队列堆积、请求时延上升。
  • Sidekiq：重试/失败增多、enqueued 持续增长；并发设置与实例规格不匹配。
  • PostgreSQL：连接数接近上限、慢查询增多；shared_buffers 等参数与内存不匹配。
  • Redis：命中率下降、evicted_keys 增长；慢日志出现大 key 操作。
• 业务路径
  • git clone/fetch/push 时延在高峰期显著上升；CI 拉取/推送步骤成为瓶颈。
• 监控落地
  • 使用 Prometheus 采集 node_exporter、redis_exporter、postgres_exporter、gitlab-exporter；Grafana 建立面板并设置告警阈值（如 CPU > 80% 持续 1m、内存 available < 10%、磁盘 util > 90% 等）。

四 排查顺序与工具命令清单

• 第1步 资源体检
  • free -h、vmstat 1、iostat -x 1、df -h、ss -s、top/htop；确认 CPU/内存/磁盘/网络是否存在异常。
• 第2步 组件定位
  • gitlab-ctl tail（nginx、puma、sidekiq、gitaly、postgresql、redis）；gitlab-rake gitlab:memory；ps aux --sort=-%mem | head -20。
• 第3步 访问复现与网络
  • curl -w “@curl-format.txt” -o /dev/null -s “https://gitlab.example.com/…”；ss -lntp | grep :80|:443；必要时抓包或测时延。
• 第4步 数据库与缓存
  • 检查 PostgreSQL 日志与慢查询；复核连接池与索引；Redis 慢日志与 info 命令评估命中率与内存。
• 第5步 监控与告警
  • 启用 GitLab 自监控；Prometheus/Grafana 配置抓取与告警规则，覆盖 CPU、内存、磁盘、队列、组件时延等关键指标。

五 临时止血与后续优化

• 紧急止血
  • 重启异常组件：gitlab-ctl restart puma（或 sidekiq/gitaly/postgresql）；必要时滚动重启降低冲击。
  • 扩容缓冲：临时增加 Swap（如 fallocate/mkswap/swapon，建议 2–4GB 起步），防止 OOM 导致整机失联。
  • 限流与降级：在高峰期临时下调 puma/sidekiq 并发，关闭非核心后台任务，保障核心页面与仓库操作。
• 后续优化
  • Puma：减少 worker 数量，设置内存上限与内存杀手（如 max_requests、max_ram、check_interval），避免长期运行泄漏累积。
  • Sidekiq：根据实例规格与负载下调并发（如 10–20 区间起步），按队列拆分与限速，减少资源争用。
  • 数据库：升级至稳定版 PostgreSQL，合理设置连接池与 shared_buffers（常见为内存的 25%–40%），建立慢查询与索引维护机制。
  • 缓存与对象存储：启用/优化 Redis 缓存，避免缓存穿透；将附件/备份迁移至对象存储，减轻本地磁盘压力。
  • 存储与高可用：使用 SSD/NVMe，必要时部署 Gitaly 集群与负载均衡，提升仓库操作吞吐与可靠性。
  • 监控与维护：持续监控与告警，定期清理无用数据/日志，按周期升级到稳定版本获取性能修复。