nginx日志分析：如何优化CDN配置

用 Nginx 日志驱动 CDN 配置优化

一 目标与关键指标

• 核心目标：提升缓存命中率、降低回源带宽与时延、保障可用性与安全性。
• 关键指标与日志字段映射：
  • 缓存命中率：基于日志中的 $upstream_cache_status（取值如 HIT/MISS/EXPIRED/UPDATING/STALE）计算；
  • 回源带宽与时延：关注 $bytes_sent、$request_time、$upstream_response_time；
  • 可用性：5xx 比例、超时比例；
  • 安全与盗链：结合 $http_referer、$http_user_agent 与 valid_referers 策略评估。
• 建议的日志格式（含缓存命中状态与真实客户端 IP）：
  • log_format cdn_log ‘$remote_addr - $upstream_cache_status [$time_local] “$request” $status $body_bytes_sent “$http_referer” “$http_user_agent”’;
  • access_log /var/log/nginx/cdn_access.log cdn_log;
  • 在反向代理场景下，设置 X-Forwarded-For 以保留客户端真实 IP，便于日志分析与访问控制。

二 日志到配置的闭环优化步骤

• 采集与结构化：统一 Nginx 访问日志格式，确保包含 $upstream_cache_status；将日志接入 ELK/Splunk 或时序库，便于聚合与可视化。
• 指标基线：计算近 7/30 天的缓存命中率、回源 QPS、P95/P99 时延、5xx 比例，形成可对比的优化基线。
• 定位问题：
  • 命中率低：大量 MISS/EXPIRED；
  • 回源拥塞：$upstream_response_time 高、回源并发大；
  • 可用性风险：5xx/超时集中在某些 URI 或地区。
• 配置调优（见下一节模板）：按资源类型设置缓存策略、开启条件请求与并发回源收敛、优化缓存键与去参数、完善安全与回源链路。
• 回归验证：小流量灰度或 A/B 验证，观察 24–72 小时指标变化，确认收益后再全量。
• 持续化：将“分析—调优—验证”固化为周/月度例行作业，结合监控告警与日志巡检。

三 关键 Nginx 与 CDN 配置模板

• 源站缓存与回源并发收敛（提升命中率、降回源峰值）
  • 缓存分层与空间：
    • proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=cdn_cache:10m inactive=7d max_size=100g;
  • 静态资源长期缓存（强缓存 + 条件请求）：
    • location ~* .(jpg|jpeg|png|gif|webp|css|js|ico|svg)$ {
      • proxy_cache cdn_cache;
      • proxy_cache_valid 200 302 1y; proxy_cache_valid 404 10m;
      • proxy_ignore_headers Set-Cookie;
      • expires 1y; add_header Cache-Control “public, immutable”;
      • proxy_cache_revalidate on;
    • }
  • 动态 API 差异化缓存（按会话或租户隔离）：
    • location /api/ {
      • proxy_cache cdn_cache;
      • proxy_cache_key “$host$request_uri$cookie_sessionid”;
      • proxy_cache_valid 200 5m;
      • proxy_pass http://backend;
    • }
  • 并发回源与容错：
    • proxy_cache_lock on; proxy_cache_lock_timeout 5s;
    • proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
• 安全与访问控制（防盗链、传递真实 IP）
  • 防盗链：
    • location /protected/ {
      • valid_referers none blocked server_names *.example.com;
      • if ($invalid_referer) { return 403; }
      • proxy_pass http://backend;
    • }
  • 传递客户端 IP：
    • proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    • proxy_set_header X-Real-IP $remote_addr;
    • proxy_set_header X-Forwarded-Proto $scheme;
• 回源 HTTPS 与证书校验（生产建议开启校验）
  • listen 443 ssl; ssl_certificate /etc/nginx/ssl/cdn.crt; ssl_certificate_key /etc/nginx/ssl/cdn.key;
  • location / { proxy_pass https://backend; proxy_ssl_server_name on; proxy_ssl_verify on; }
• 缓存清理与主动失效（按需部署 purge 模块）
  • location ~ /purge(/.*) { allow 127.0.0.1; deny all; proxy_cache_purge cdn_cache $1; }
• 说明：上述策略覆盖“静态长期缓存、动态短时缓存、去参数与共享缓存、条件请求、并发回源收敛、容错回退、防盗链、回源 HTTPS”等关键点，可直接作为源站与 CDN 协同优化的起点。

四 用日志快速定位问题与验证收益

• 命中率与回源量
  • 总请求数：awk ‘{n++} END{print n}’ cdn_access.log
  • 命中率：awk ‘$7==“HIT”{h++} $7==“MISS”{m++} END{printf “HIT=%.2f%% MISS=%.2f%%\n”, h/(h+m)*100, m/(h+m)*100}’ cdn_access.log
  • Top MISS URI：awk ‘$7==“MISS”{print $7,$4,$6,$1,$9}’ cdn_access.log | sort | uniq -c | sort -nr | head
• 回源时延与带宽
  • 平均回源时延：awk ‘{sum+=$NF} END{print "avg_upstream_ms="sum/NR}’ cdn_access.log（假设 $NF 为 $upstream_response_time）
  • 回源带宽：awk ‘{sum+=$10} END{print "bytes_sent="sum}’ cdn_access.log（假设 $10 为 $body_bytes_sent）
• 异常与可用性
  • 5xx 比例：awk ‘$9~/^5/{c++} END{print "5xx%="c/NR*100}’ cdn_access.log
• 验证方法
  • 在调整 Cache-Control / proxy_cache_valid / proxy_cache_key 后，对比前后 24–72 小时的命中率、回源 QPS、P95/P99 时延与 5xx 比例；
  • 对“高频 MISS 的 URI”优先优化缓存键（如引入版本号/内容哈希、开启去参数缓存），对“回源慢”的 URI 优先检查源站性能与网络路径。