怎样利用Nginx日志进行流量统计

利用 Nginx 日志进行流量统计的实用方案

一前置准备

确认日志包含用于统计的字段：至少包含 $body_bytes_sent（响应体字节数，用于出网流量）与 $request_time（请求处理时间，用于性能关联）。若使用默认 combined 格式，通常已包含前者；如需更丰富维度，可自定义格式并加入 $request_time、$request_uri、$http_user_agent、$http_x_forwarded_for 等。示例：
```
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for" $request_time';
access_log /var/log/nginx/access.log main;
```
为便于机器解析，也可采用 JSON 格式记录日志。完成配置后执行 nginx -t && systemctl reload nginx 使配置生效。

二命令行快速统计

统计总出网流量（单位：字节，可换算为 KB/MB/GB）

awk '{sum+=$10} END {printf "Total bytes: %.0f\n", sum}' /var/log/nginx/access.log

按天统计出网流量

awk '{day=$4; gsub(/\[|\]/,"",day); split(day,d,"/"); key=d[1]"/"d[2]"/"d[3]; bytes[$key]+=$10}
     END {for(k in bytes) printf "%s %.0f\n", k, bytes[k]}' /var/log/nginx/access.log

按小时统计请求量与总流量（用于观察峰值）

awk '{h=$4; gsub(/\[|\]/,"",h); split(h,t,":"); key=t[1]":"t[2];
     reqs[key]++; bytes[key]+=$10}
     END {for(k in reqs) printf "%s %d %.0f\n", k, reqs[k], bytes[k]}' /var/log/nginx/access.log

按 URI 统计下载量 Top10（排除静态资源，聚焦业务路径）

awk '$7 !~ /\.(js|css|png|jpg|jpeg|gif|ico|svg)$/ {bytes[$7]+=$10}
     END {for(k in bytes) printf "%.0f %s\n", bytes[k], k}' /var/log/nginx/access.log | sort -nr | head

按客户端 IP 统计出网流量 Top10（识别大流量来源）

awk '{ip=$1; bytes[ip]+=$10}
     END {for(k in bytes) printf "%.0f %s\n", bytes[k], k}' /var/log/nginx/access.log | sort -nr | head

统计 4xx/5xx 错误码对应的流量（定位异常请求带来的流量）

awk '$9 ~ /^[45]/ {err[$7]+=$10}
     END {for(k in err) printf "%.0f %s\n", err[k], k}' /var/log/nginx/access.log | sort -nr

说明：以上命令以默认的 combined 日志为例，字段位置可能因自定义格式而变化；如采用 JSON 日志，建议使用 jq 进行解析。上述方法适合临时排查与快速报表生成。

三可视化与集中化方案

GoAccess 实时分析与报表

# 终端实时查看
goaccess /var/log/nginx/access.log -f json --log-format=COMBINED --real-time-html --ws-url=ws://0.0.0.0:7890

# 导出 HTML 报告
goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format=COMBINED

GoAccess 支持多种输出（HTML、JSON、CSV），适合快速搭建可视化看板与导出报表。

ELK Stack 集中分析与可视化
- Logstash 负责采集与解析（grok 匹配 Nginx 日志），Elasticsearch 存储与索引，Kibana 构建仪表盘与告警。
- 适用场景：多实例、海量日志、需要长期留存与复杂查询分析。
Grafana Loki + Promtail 轻量方案
- Promtail 采集 Nginx 日志并推送到 Loki，Grafana 进行查询与可视化，资源占用相对更低，适合云原生环境。

四自动化与注意事项

日志切割与归档
- 使用 logrotate 按日/按大小切割，避免单文件过大影响统计与 I/O；切割后配合上述命令或导入流程处理历史分片。
统计口径与边界
- 以上以 $body_bytes_sent 近似“出网流量”；若需“入网流量”，可在日志中加入 $request_length（请求体字节数），两者合计更接近会话总流量。
- 代理/CDN 场景建议记录 $http_x_forwarded_for 以区分真实客户端；若启用压缩（gzip），$body_bytes_sent 为压缩后大小，与带宽账单可能不一致。
性能与实时性
- 大文件统计建议使用按小时/按天预聚合（如先按小时拆分再统计），或采用 GoAccess 实时模式、ELK/Loki 流式处理以减轻单机压力。

最新问答

相关标签