nginx日志中响应时间怎么优化

Nginx日志中的响应时间优化

一明确指标与日志埋点

关键时间指标含义：
- $request_time：从客户端发起请求到Nginx完成响应的总耗时，包含网络往返、Nginx处理、与上游交互及回传数据的时间。
- $upstream_response_time：Nginx与上游服务交互的耗时（从发送请求到收到上游响应），不包含客户端连接与回传阶段。

推荐日志格式（记录耗时与缓存命中，便于定位瓶颈）：

log_format main_ext '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" "$http_user_agent" '
                  'rt=$request_time uct=$upstream_connect_time urt=$upstream_response_time '
                  'cache=$upstream_cache_status';
access_log /var/log/nginx/access.log main_ext;

快速验证字段是否落盘：

tail -n 1 /var/log/nginx/access.log | cut -d' ' -f12-   # 观察是否包含 rt=、urt=、cache=

解读要点：
- rt 高、urt 低：瓶颈多在客户端网络、Nginx处理或返回阶段（如日志/压缩/连接复用等）。
- urt 高：瓶颈在上游服务（慢查询、线程阻塞、资源不足等）或上游网络。
- cache=MISS 多：大量回源，考虑放宽缓存策略或预热热点数据。

二用日志快速定位慢请求

TopN 最慢请求（按总耗时）：

awk -F'rt=' '{print $2}' access.log | cut -d' ' -f1 | sort -nr | head -10

按 URI 统计平均/最大耗时（需字段顺序与日志格式一致）：
```
awk -F'"' '{print $2}' access.log | sort | uniq -c | sort -nr | head
```

缓存命中率（若启用缓存）：

awk '{print $NF}' access.log | sort | uniq -c
# 命中率 = HIT / (HIT + MISS)

大响应体拖累传输（示例阈值 100000 字节）：

awk '$6 > 100000 {print $7, $6}' access.log | sort -k2 -nr | head

实时监控与报表：

goaccess：生成 HTML 报表，适合离线分析。

cat access.log | docker run --rm -i diyan/goaccess \
  --time-format='%H:%M:%S' --date-format='%d/%b/%Y' \
  --log-format='%h %l %u %t "%r" %s %b "%R" "%u" rt=$request_time urt=$upstream_response_time cache=$upstream_cache_status' \
  > report.html

ngxtop：类 top 实时监控，便于发现突发慢请求与异常状态码。

三配置层优化降低响应时间

基础并发与连接：
- 设置 worker_processes 为CPU 核心数；提升 worker_connections（如 1024/更高），提升并发承载能力。
- 开启 HTTP/2 或 HTTP/3(QUIC)，利用多路复用与头部压缩降低排队与握手开销。
长连接与头部压缩：
- 开启 keepalive（如 keepalive_timeout 60s；keepalive_requests 1000），减少 TCP/TLS 握手与慢启动。
- 启用 gzip（如 gzip on; gzip_types text/css application/json …），降低传输体积。

反向代理关键项（提升与上游交互效率）：

开启 HTTP/1.1 与连接复用：

proxy_http_version 1.1;
proxy_set_header Connection "";

复用上游连接与解析开销控制：

upstream backend {
  server 10.0.0.1:8080;
  keepalive 32;
}
resolver 223.5.5.5 valid=30s;   # 如用域名，配置解析器与缓存

合理缓冲与回写策略（减少小包等待与阻塞）：

proxy_buffering on;
proxy_buffers 16 16k;
proxy_busy_buffers_size 64k;

超时与连接复用（按业务调整，避免过早断开或长时间挂起）：
```
proxy_connect_timeout 5s;
proxy_send_timeout 10s;
proxy_read_timeout 30s;
```

缓存与静态资源：
- 启用 proxy_cache / fastcgi_cache，对热点接口与静态资源设置合适 Cache-Control / Expires。
- 静态资源开启浏览器与 CDN 缓存，必要时对日志进行采样或关闭高命中路径的访问日志以降低 I/O。

四上游与应用层协同优化

当日志显示 urt 高 时，优先排查上游：
- 数据库慢查询、缺失索引、复杂事务；引入查询缓存、批量/异步、连接池与限流。
- 代码热点路径优化、减少阻塞 I/O、合理线程/协程与 GC 调优。
- 扩容与弹性：增加实例、读写分离、热点分片，必要时引入负载均衡与熔断降级。
当日志显示 rt 高而 urt 低 时，优先排查 Nginx 与链路：
- 开启 sendfile on; tcp_nopush on; tcp_nodelay on; 提升传输效率。
- 优化日志字段与级别、减少不必要的代理层处理与重定向。
- 检查客户端网络质量、TLS 握手开销与 CDN 回源链路。

五监控与维护

资源与链路监控：使用 Zabbix/Nagios/Prometheus+Grafana 监控 CPU、内存、网络、连接数、文件句柄 等，联动告警。
日志治理：使用 logrotate 按日/小时切割与压缩，避免大文件导致的 I/O 抖动与采集延迟。

最新问答

相关标签