监控 Ubuntu 上 Jenkins 部署状态的可落地方案
一 监控目标与分层
- 业务状态：部署是否成功、最近一次构建结果、失败趋势、部署耗时。
- 运行健康：Jenkins 节点（Master/Agent）在线、Executor 使用率、构建队列长度、HTTP 响应时间。
- 基础设施：CPU、内存、磁盘 I/O、网络、JVM GC 与堆使用。
- 告警处置：构建失败、节点离线、队列积压、磁盘空间不足、响应超时等及时通知。
二 内置与 API 快速监控
- 内置插件 Monitoring（JavaMelody）
- 在 Manage Jenkins → Manage Plugins 安装 Monitoring 插件，访问 Manage Jenkins → Monitoring of Jenkins master 查看仪表盘，覆盖 内存、CPU、HTTP 响应时间、当前请求数 等，适合快速“开箱即用”的单体监控。
- 构建状态与日志
- 通过 Jenkins REST API 获取构建结果，例如：
- 最新构建结果：curl -u 用户名:密码 http://<jenkins_host>:8080/job/<job_name>/lastBuild/api/json
- 指定构建：curl -u 用户名:密码 http://<jenkins_host>:8080/job/<job_name>/<build_number>/api/json
- 结合脚本轮询上述接口，解析字段如 result、duration、timestamp，当 result != “SUCCESS” 时触发告警或回滚流程。
- 系统与服务状态
- 服务存活与端口：systemctl status jenkins；ss -ltnp | grep 8080
- 资源与 I/O：top/htop、iostat、iftop/nethogs
- 日志定位：/var/log/jenkins/jenkins.log（排查启动失败、插件异常、部署脚本报错等）。
三 Prometheus + Grafana 可观测性方案
- 指标采集
- 在 Jenkins 安装 Prometheus Metrics Plugin，Jenkins 会自动暴露 /prometheus 指标端点（如：http://<jenkins_host>:8080/prometheus），包含 Job/构建、节点（Agent）、队列、Executor 等 CI/CD 业务指标。
- 在主机安装 Node Exporter（默认 :9100/metrics）采集 CPU、内存、磁盘、网络 等系统指标，与应用指标解耦。
- Prometheus 配置示例
- 抓取 Jenkins：
- job_name: ‘jenkins’
metrics_path: ‘/prometheus’
static_configs:
- targets: [‘<jenkins_host>:8080’]
- 抓取主机：
- job_name: ‘node’
static_configs:
- targets: [‘<node_exporter_host>:9100’]
- Grafana 可视化与告警
- 导入官方或社区 Jenkins 仪表盘（如 ID：9964），展示 构建成功率、构建耗时、队列长度、节点在线状态、Executor 使用率 等。
- 典型告警规则示例（Prometheus）：
- 节点离线
- alert: JenkinsNodeOffline
expr: default_jenkins_nodes_online == 0
for: 2m
labels: { severity: warning }
annotations: { summary: “Jenkins 节点离线”, description: “Jenkins 节点 {{ $labels.node }} 已离线超过 2 分钟” }
- 构建失败
- alert: JenkinsJobFailed
expr: jenkins_job_last_build_result{result=“FAILURE”} == 1
for: 0m
labels: { severity: critical }
annotations: { summary: “Jenkins 任务失败”, description: “Job {{ $labels.job }} 最近一次构建失败” }
- 队列积压
- alert: JenkinsQueueBacklog
expr: jenkins_queue_size > 10
for: 5m
labels: { severity: warning }
annotations: { summary: “Jenkins 队列积压”, description: “当前队列长度 {{ $value }}” }。
四 部署健康自检与自动化巡检脚本
- 一键健康检查脚本（示例）
- 检查项：服务存活、端口可达、最近一次构建结果、节点在线、磁盘空间、JVM 堆使用。
- 用法：chmod +x jenkins_health.sh && ./jenkins_health.sh
- 示例脚本（按需调整 URL、凭据与阈值）：
-
#!/usr/bin/env bash
set -Eeuo pipefail
JENKINS_URL=“http://localhost:8080”
USER=“admin”
TOKEN=“your_api_token”
JOB=“your-deploy-job”
1) 服务与端口
systemctl is-active --quiet jenkins || { echo “Jenkins service DOWN”; exit 1; }
ss -ltnp | grep -q :8080 || { echo “Port 8080 not listening”; exit 1; }
2) 最近一次构建
LAST=$(curl -s -u “$USER:$TOKEN” “$JENKINS_URL/job/$JOB/lastBuild/api/json” | jq -r ‘.result // “UNKNOWN”’)
[[ “$LAST” == “SUCCESS” ]] || { echo “Last build result: $LAST”; exit 2; }
3) 节点在线（示例阈值：期望至少 1 个在线 Agent）
ONLINE=$(curl -s -u “$USER:$TOKEN” “$JENKINS_URL/computer/api/json” | jq ‘[.computer[] | select(.offline==false)] | length’)
(( ONLINE >= 1 )) || { echo “Online agents: $ONLINE”; exit 3; }
4) 磁盘空间（阈值：根分区 < 10% 空闲告警）
DF=$(df / | tail -1)
USE=$(echo “$DF” | awk ‘{print $5}’ | tr -d ‘%’)
(( USE < 90 )) || { echo “Root disk usage: ${USE}%”; exit 4; }
echo “Jenkins health check OK”
- 建议将脚本纳入 cron（如每 5 分钟）并结合 企业微信/钉钉/Slack Webhook 或 Prometheus Alertmanager 发送告警。
五 故障排查与优化要点
- 连通性与端口：确认 8080 未被防火墙阻断（如 ufw allow 8080），并能被外部访问；必要时排查云安全组/本机防火墙。
- 服务与监听：使用 systemctl status jenkins、ss -ltnp | grep 8080 确认进程与端口正常；异常时查看 /var/log/jenkins/jenkins.log 定位插件/脚本/权限问题。
- JVM 与资源：检查 Java 版本兼容 与 堆内存 配置，必要时增大堆；结合 GC 日志 分析长时间 GC 导致的卡顿或失败；关注 磁盘空间 与 I/O 瓶颈。
- 节点与队列：在 Prometheus/Grafana 观察 节点在线、Executor 使用率、队列长度，节点掉线或队列长期积压时优先扩容 Agent 或优化 Pipeline 并发。
