怎样排查部署管道故障

排查部署管道（Deployment Pipeline）故障，通常要按“从上游到下游、从配置到运行、从日志到环境”的顺序进行系统化定位。下面给你一套通用、可落地的排查思路。

一、先确认故障位置（定位阶段）

1. 明确失败发生在哪一步

部署管道一般包括：

• 代码拉取（Git / CI 触发）
• 构建（编译 / 打包 / 镜像构建）
• 单元测试 / 静态检查
• 部署（K8s / 服务器 / 云函数等）
• 后置校验（健康检查 / 自动化测试）

✅ 做法：

• 看 CI/CD 平台（GitLab CI、GitHub Actions、Jenkins、ArgoCD 等）
• 确定第一步失败的 Stage / Job
• 截图或记录错误关键词

二、代码与触发层排查

2. 检查触发条件

常见问题：

• 分支写错（main ↔ master）
• 错误触发了手动/定时任务
• PR 未满足合并条件

✅ 检查：

on:
  push:
    branches: [main]

或 Jenkins / GitLab 的 trigger 配置

3. 检查代码与依赖

• 是否最近有依赖升级？
• lock 文件是否一致（package-lock / yarn.lock / go.mod）
• 是否缺少环境变量 / Secret

✅ 重点看：

• 构建失败日志
• npm install / pip install / go mod 报错

三、构建阶段排查

4. 本地复现构建

npm run build
mvn package
docker build -t test .

✅ 如果本地能过，管道失败，通常是：

• 环境版本不同（Node / JDK / Python）
• 网络问题（私有仓库拉不到）
• 构建机资源不足

5. 检查构建环境

• 构建镜像版本是否变更
• Runner / Agent 是否正常
• 磁盘 / 内存是否满

四、部署阶段排查（最常见）

6. 查看部署日志

• K8s：

kubectl describe pod xxx
kubectl logs xxx

• 服务器：

journalctl -u yourapp

7. 常见部署失败原因

• 镜像拉取失败（权限 / tag 不存在）
• 配置映射错误（ConfigMap / Secret）
• 端口冲突
• 资源不足（CPU / Memory Limit）
• 探针失败（ readiness / liveness ）

五、环境与权限排查

8. 权限与凭证

• CI Secret 是否过期
• 云账号权限是否变更
• kubeconfig 是否失效

9. 网络

• 内网 / 外网不通
• 防火墙规则
• DNS 解析失败

六、回滚与快速恢复

如果影响生产：

kubectl rollout undo deployment/xxx

或重新部署上一个稳定版本（Git tag / 镜像 tag）

七、建立排查清单（推荐）

你可以保存一份标准清单：

1. 哪一步失败？
2. 错误日志关键词？
3. 是否最近变更？
4. 本地能否复现？
5. 环境 / 权限是否变化？
6. 是否能快速回滚？

八、如果你愿意，我可以进一步帮你

你可以告诉我：

• 用的什么工具（GitHub Actions / GitLab / Jenkins / ArgoCD）
• 错误日志或截图
• 部署目标（K8s / 虚拟机 / 云）

我可以直接帮你逐条定位具体原因。