nginx日志技巧：如何高效管理日志文件

一、优化日志生成：从源头减少日志负担

1. 精简日志格式：通过log_format指令定义仅包含关键信息的格式（如$remote_addr、$status、$request_time、$body_bytes_sent），移除冗余字段（如$http_cookie、$host），降低单条日志大小。例如：

   log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_time';
   access_log /var/log/nginx/access.log main;
   

2. 调整日志级别：根据需求降低错误日志级别（如将error_log从debug改为info或warn），避免记录过多调试信息。例如：

   error_log /var/log/nginx/error.log warn;
   

3. 过滤无关日志：通过location指令忽略静态资源（如.jpg、.css、.js）的访问日志，或使用map指令仅记录错误请求（如非2xx/3xx状态码）。例如：

   location ~* \.(jpg|css|js|ico)$ { access_log off; }
   map $status $loggable { ~^[23] 0; default 1; }
   access_log /var/log/nginx/errors.log main if=$loggable;
   

4. 启用日志缓冲：通过access_log指令的buffer和flush参数，将日志暂存内存后批量写入磁盘，减少I/O次数。例如：

   access_log /var/log/nginx/access.log main buffer=64k flush=5m;
   

二、定期轮转日志：控制文件大小与数量

1. 使用logrotate工具：通过/etc/logrotate.d/nginx配置文件设置自动轮转规则，关键参数包括：
   • daily/weekly/monthly：轮转周期；
   • rotate 7：保留最近7个日志文件；
   • compress：压缩旧日志（节省空间）；
   • notifempty：空日志不轮转；
   • postrotate：发送USR1信号让Nginx重新打开日志文件（避免文件占用）。示例配置：

   /var/log/nginx/*.log {
       daily
       missingok
       rotate 7
       compress
       delaycompress
       notifempty
       create 0640 www-data adm
       sharedscripts
       postrotate
           if [ -f /var/run/nginx.pid ]; then
               kill -USR1 `cat /var/run/nginx.pid`
           fi
       endscript
   }
   

2. 手动切割脚本（备用）：若需更灵活的控制，可编写Shell脚本（如cut_nginx_log.sh），通过mv重命名日志文件，再发送USR1信号。例如：

   #!/bin/bash
   LOG_PATH="/var/log/nginx"
   DATE=$(date -d "yesterday" +%Y-%m-%d)
   mv $LOG_PATH/access.log $LOG_PATH/access-$DATE.log
   mv $LOG_PATH/error.log $LOG_PATH/error-$DATE.log
   kill -USR1 $(cat /var/run/nginx.pid)
   

   通过crontab -e设置定时任务（如每天凌晨执行）：

   0 0 * * * /path/to/cut_nginx_log.sh >> /var/log/log_cut.log 2>&1
   

三、压缩与清理：释放存储空间

1. 自动压缩旧日志：在logrotate配置中添加compress参数（如gzip压缩），或通过Shell脚本调用gzip命令。例如：

   gzip /var/log/nginx/access-$(date -d "yesterday" +%Y-%m-%d).log
   

2. 定期清理过期日志：使用find命令查找并删除超过指定天数（如30天）的压缩日志。例如：

   find /var/log/nginx/backup -type f -name "*.gz" -mtime +30 -exec rm -f {} \;
   

   将上述命令添加到crontab（如每月1号执行）：

   0 1 * * * /path/to/log_cleanup.sh >> /var/log/log_cleanup.log 2>&1
   

四、高效分析与监控：挖掘日志价值

1. 使用专用分析工具：
   • GoAccess：实时可视化分析日志（支持HTML报告），无需依赖数据库。安装后运行：

     goaccess /var/log/nginx/access.log --log-format=COMBINED -o /var/www/html/report.html
     

   • ELK Stack：处理大规模日志（如分布式系统），通过Filebeat收集日志，Elasticsearch存储，Kibana展示（支持趋势分析、告警）。
2. 快速统计命令：通过Shell命令快速获取关键指标，如：
   • TOP 10 IP：awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10；
   • 耗时最长请求：awk '{print $NF,$7}' access.log | sort -nr | head -20；
   • HTTP状态码分布：awk '{print $9}' access.log | sort | uniq -c | sort -rn；
   • 频繁404请求（安全分析）：awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -nr。