如何用nginx日志进行安全分析

Nginx 日志安全分析实操指南

一基础准备与日志规范

启用并规范日志格式，至少包含客户端 IP、请求时间、请求行、状态码、响应大小、来源页、UA、以及反向代理场景下的 X-Forwarded-For。示例：

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
error_log  /var/log/nginx/error.log;

反向代理或 CDN 前置时，建议用 map 规范化真实 IP：

map $http_x_forwarded_for $real_ip {
    default $remote_addr;
    "~^(\d+\.\d+\.\d+\.\d+)" $1;
}

日志轮转与保留：使用 logrotate 按日切割并压缩，保留至少 30 天；对高流量站点可缩短周期并上传至对象存储归档。
安全与合规：限制日志目录权限（如 root:adm 640），敏感信息脱敏后再外发；集中化存储时启用传输与存储加密。

二关键检测项与快速命令

高频访问与潜在 DoS：统计最近 1 分钟请求数 TopN

TIME_WINDOW=$(date --date='1 minute ago' '+%d/%b/%Y:%H:%M')
awk -v w="$TIME_WINDOW" '$4 ~ "\\["w":" {print $1}' /var/log/nginx/access.log \
  | sort | uniq -c | sort -nr | head

扫描与敏感路径探测：集中排查常见后台、管理、探针、备份等路径

egrep -i '\.(git|svn|env|sql|bak|zip|rar|tar|gz|log|cgi|asp|aspx|jsp|php[3-7]?)$|\
(wp-login|phpmyadmin|admin|administrator|backup|config|shell|upload|test|\.ht)' \
  /var/log/nginx/access.log | awk '{print $1,$7}' | sort | uniq -c | sort -nr

异常状态码与可疑跳转：关注 4xx/5xx 爆发及大量 302/301 到可执行脚本

# 4xx/5xx Top
awk '$9 ~ /^[45]/ {print $1,$7,$9}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

# 大量 302 到 .php
awk '$9 == 302 && $7 ~ /\.php$/ {print $1,$7,$9}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

可疑 UA 与爬虫：识别空 UA、脚本 UA、常见扫描器特征

awk -F\" '$6 ~ /^-$|curl|python|scanner|bot|spider|wget|nikto|sqlmap|nmap/ {print $1,$6,$7}' \
  /var/log/nginx/access.log | sort | uniq -c | sort -nr

响应体异常：定位异常大/小的响应（可用于 WebShell 投递或信息泄露排查）

# 响应体异常大（>1MB）
awk '$10 > 1048576 {print $1,$7,$10}' /var/log/nginx/access.log | sort -nr | head

# 响应体异常小（如 0 或极小）
awk '$10 < 100 && $9 ~ /200/ {print $1,$7,$10}' /var/log/nginx/access.log | sort | uniq -c | sort -nr

结合 Referer 与 UA 的异常组合：跨站脚本/盗链/伪装来源

awk '$11 !~ /yourdomain/ && $6 ~ /"Mozilla/5\.0"/ {print $1,$7,$11,$6}' \
  /var/log/nginx/access.log | sort | uniq -c | sort -nr

错误日志异常：集中检索 error.log 中的权限、路径遍历、执行失败等

grep -iE 'permission denied|no such file|index forbidden|failed \(2|open.*failed' \
  /var/log/nginx/error.log | tail -n 50

说明：上述正则与字段基于 combined 常见格式；如使用自定义格式，请相应调整字段序号或按命名捕获。

三自动化检测与封禁

Fail2ban 联动：监控 Nginx 日志自动封禁恶意 IP（推荐）
1. 安装并启用 fail2ban；2) 在 /etc/fail2ban/jail.local 中新增 jail（示例为高频路径与 4xx/5xx 策略）；3) 重启服务并观察 fail2ban.log。该方式具备白名单、解封周期、邮件/钉钉告警等能力，稳定性优于裸脚本。

轻量脚本自动封禁（iptables/firewalld，示例）

#!/usr/bin/env bash
LOG=/var/log/nginx/access.log
TIME_WIN=$(date --date='1 minute ago' '+%d/%b/%Y:%H:%M')
THRESHOLD=200
BAN_TIME=3600
WHITELIST=("127.0.0.1" "192.168.0.0/24")

is_whitelisted() {
  local ip=$1
  for w in "${WHITELIST[@]}"; do
    if [[ $ip == $w ]] || { [[ $w == *"/"* ]] && command -v ipcalc >/dev/null &&
      ipcalc -nb "$w" "$ip" 2>/dev/null | grep -q "YES"; }; then
      return 0
    fi
  done
  return 1
}

grep "$TIME_WIN" "$LOG" | awk '{print $1}' | sort | uniq -c | sort -nr | while read cnt ip; do
  if (( cnt > THRESHOLD )) && ! is_whitelisted "$ip"; then
    if ! iptables -C INPUT -s "$ip" -j DROP 2>/dev/null; then
      echo "$(date) BAN $ip ($cnt req/min)" >> /var/log/nginx/ban.log
      iptables -A INPUT -s "$ip" -j DROP
      # 自动解封
      (sleep "$BAN_TIME" && iptables -D INPUT -s "$ip" -j DROP 2>/dev/null) &
    fi
  fi
done

使用要点：配置 **crontab * * * * *** 高频执行；加入 白名单；记录封禁日志；必要时改用 firewalld 的 rich rule。

建议：生产环境优先 Fail2ban 或 WAF，脚本方案用于快速落地与二次开发。

四集中化与可视化分析

平台选型与适用场景

平台	适用场景	关键要点
ELK Stack	海量日志、复杂检索与可视化	借助 Ingest Pipeline 解析日志，Kibana 建立安全看板与阈值告警
Graylog	轻量部署、快速合规审计	内置管道与告警，易与 LDAP/AD 集成
Loki + Grafana	云原生、低成本	Promtail 采集，Grafana 统一监控与安全面板
Splunk	商业化、强告警与合规	丰富 App 生态，适合企业级 SOC

可视化与告警建议
- 指标面板：每分钟请求速率、Top IP/URL、4xx/5xx 比例、异常 UA 占比、敏感路径命中、封禁事件趋势。
- 阈值告警：1 分钟请求数、404/500 爆发、敏感路径命中次数、异常 UA 数量、封禁速率异常。
- 关联分析：将 access.log 与 error.log、系统审计日志关联，还原攻击链。

五防护加固与最佳实践

事前限速与连接控制：在 http/server/location 中使用 limit_req_zone/limit_req 与 limit_conn 抑制暴力破解与爬虫；对管理口与敏感路径设置更严格策略。
边界与纵深防御：在 Nginx 前部署 WAF（如 OpenResty/ModSecurity），与日志平台联动，降低误报与漏报。
安全响应闭环：建立“检测—封禁—取证—复盘—加固”流程；对误封配置白名单与自动解封；对高频攻击路径实施临时下线、验证码、人机校验等缓解措施。
持续运营：定期更新 Nginx 与组件；审计日志保留与异地备份；演练告警处置手册，减少 MTTR。

最新问答

相关标签