服务器gateway故障排查指南

服务器 Gateway 故障排查指南

一 快速定位与先期判断

• 明确现象与范围：是单个接口/域名异常，还是全站不可用；是否仅在特定地区或运营商网络出现；是否使用了 CDN/负载均衡/反向代理。
• 快速自检（面向终端用户）：尝试强制刷新（Ctrl+F5）、更换浏览器/设备、清理浏览器缓存与 Cookie、切换网络（蜂窝/宽带）、更换 DNS（如 223.5.5.5、8.8.8.8）、访问第三方状态页确认是否为平台侧故障。
• 快速自检（面向运维）：在网关或上游机器上执行：
  • 资源与进程：top/htop、free -m、df -h、ss -s、netstat -tulpen | grep -E '(:80|:443)'
  • 连通与路径：ping、traceroute/tracert、curl -Iv http(s)://目标
  • 服务状态：systemctl status nginx/haproxy/php-fpm
  • 日志聚焦：journalctl -u nginx -xe、tail -n100 /var/log/nginx/error.log | grep -i '502\|504'
• 错误码含义速判：
  • 502 Bad Gateway：网关从上游收到无效/异常响应（常见于上游崩溃、进程池耗尽、协议/证书错误、返回超大 Header）。
  • 504 Gateway Timeout：网关在设定时间内未等到上游响应（常见于慢查询、第三方接口阻塞、网络抖动、超时阈值过低）。

二 分层排查步骤

• 网络连通与路由
  • 在网关执行到上游的 curl -Iv http://上游IP:端口/health 或 telnet 上游IP 端口，确认端口与协议可达。
  • 检查 VPC/子网路由表、**安全组/防火墙（iptables/firewalld）**是否放行 80/443 及上游端口；跨 VPC/专线需确认 NACL/对等连接策略。
  • 使用 traceroute 定位在哪一跳丢包/延迟异常；必要时联系 运营商核查线路。
• DNS 解析
  • 在网关执行 nslookup/dig 上游域名 验证解析是否稳定；若使用内网域名，确认 CoreDNS/内网 DNS 记录正确。
  • 刷新 DNS 缓存（如 systemd-resolve --flush-caches 或 ipconfig /flushdns），必要时临时改用公共 DNS或将上游 IP 硬编码到网关配置做 A/B 验证。
• 网关与上游配置
  • 语法与连通性：nginx -t；在网关上 curl http://127.0.0.1/health 验证自身监听；核对上游 IP/端口/协议与负载均衡目标组。
  • 超时与重试（示例为 Nginx）：
    • proxy_connect_timeout 30s; proxy_read_timeout 60s; proxy_send_timeout 60s;
    • 慢上游可结合 proxy_next_upstream error timeout http_502 http_504; 做故障转移。
  • 缓冲与 Header：遇到 upstream sent too big header 时增大缓冲：
    • FastCGI：fastcgi_buffer_size 32k; fastcgi_buffers 8 32k;
    • 反向代理：proxy_buffer_size 64k; proxy_buffers 32 32k; proxy_busy_buffers_size 128k;
  • 进程与连接：检查 PHP-FPM 进程池（pm.max_children、pm.max_requests）、数据库连接池是否耗尽；必要时扩容或优化慢查询。
• 上游应用与依赖
  • 查看应用日志（如 PHP-FPM、Node.js、Java 日志）与 数据库慢查询；确认依赖的 第三方 API 是否超时/限流。
  • 对耗时任务采用异步或队列，避免阻塞网关线程。
• 负载均衡与 CDN
  • 临时绕过 CDN 直连源站验证；检查 健康检查与 目标组状态，确认未因不健康实例导致全量失败。
  • 若使用云 LB，核对 会话保持/回源协议/回源端口与证书一致性。

三 常见症状与修复要点对照表

四 临时恢复与长期优化

• 临时恢复
  • 扩容与限流：临时扩容实例或启用自动扩缩容；对非核心接口限流/熔断，保障核心链路。
  • 回退与绕行：回滚最近变更；绕过 CDN直连源站；将关键上游临时硬编码 IP以规避 DNS 问题。
  • 调整阈值：适度提高 proxy_read_timeout 等超时参数，缓解短时抖动（治标不治本）。
• 长期优化
  • 可观测性：集中采集 Access/Error 日志、指标（吞吐、延迟、5xx 比例、连接数）与链路追踪，设置 告警。
  • 弹性与高可用：部署 多可用区、健康检查+自动摘除、多实例与故障转移；对突发流量启用 弹性伸缩。
  • 性能与稳定性：优化 慢查询/慢接口、引入 缓存（CDN/本地）、对耗时任务异步化/队列化；定期压测与演练（含限流/熔断策略验证）。