Jenkins宕机要怎么排查

Jenkins 宕机（无法访问、服务挂掉、卡死等）一般可以按下面思路系统排查，从最快恢复到根因分析逐步来。

一、先确认“宕机”的表现

先搞清楚是哪一类问题：

• 页面打不开（502 / 无法连接）
• 服务进程不在（ps 看不到 java 进程）
• 进程在但卡死（页面转圈、构建卡住）
• 机器本身挂了（SSH 都连不上）

二、基础检查（5 分钟内）

1. 服务状态

systemctl status jenkins
# 或
service jenkins status

看是否是 active (running)

2. 进程是否存在

ps -ef | grep jenkins
ps -ef | grep java

3. 端口监听

netstat -tlnp | grep 8080
# 或
ss -tlnp | grep 8080

4. 机器资源

top
free -h
df -h

重点看：

• CPU 是否 100%
• 内存是否耗尽（OOM）
• 磁盘是否满（Jenkins 最容易因磁盘满挂）

三、看日志（最关键）

Jenkins 日志位置

常见路径：

/var/log/jenkins/jenkins.log

或

/var/lib/jenkins/jenkins.out.log

重点看：

• OutOfMemoryError
• PermGen / Metaspace
• disk full
• Exception
• 最后一次正常日志时间

四、常见宕机原因 & 对应处理

1️⃣ 磁盘满了（最常见）

df -h

解决：

• 清理 /var/lib/jenkins/workspace
• 清理旧构建
• 清理 /tmp

2️⃣ 内存不足（OOM）

现象：

• 进程突然消失
• 日志有 java.lang.OutOfMemoryError

解决：

ps -ef | grep jenkins

看 -Xmx 参数，适当调大：

JAVA_OPTS="-Xmx2g"

3️⃣ 插件冲突 / 升级失败

现象：

• 启动后白屏
• 日志反复报错

解决：

• 安全模式启动

java -jar jenkins.war --safe

• 或临时移走插件目录

mv /var/lib/jenkins/plugins /tmp/plugins_bak

4️⃣ 构建任务卡死

现象：

• 页面能开但卡
• 构建一直 running

解决：

• 重启 agent
• 杀掉 stuck 进程
• 限制并发构建数

5️⃣ 端口被占用

ss -tlnp | grep 8080

换端口或杀掉冲突进程

五、尝试恢复服务

systemctl restart jenkins

如果起不来：

journalctl -u jenkins -n 200

六、防止再次宕机

• 设置 JVM 内存上限
• 定期清理旧构建
• 使用 System Alert 插件
• 做 Jenkins 备份
• 分离 agent（不要 master 跑构建）

七、如果你愿意，我可以更具体帮你

你可以直接贴：

1. 错误日志（关键几行）
2. systemctl status jenkins 输出
3. 磁盘 / 内存情况
4. Jenkins 版本 & 部署方式（war / docker / k8s）

我可以帮你精确定位原因并给修复命令。