如何在Debian上实现LNMP日志分析

在 Debian 上实现 LNMP 日志分析

一 日志位置与实时查看

• 建议先确认各组件日志路径与启用状态，再用命令行实时查看与过滤。下表给出常见路径与命令示例（按你的实际版本与配置可能略有差异）：

• 以上路径与实时查看方式可直接用于日常排查与验证。

二 日志轮转与保留策略

• 使用 logrotate 自动切割、压缩与清理日志，避免磁盘被占满。示例配置与要点如下：
  • Nginx 示例（/etc/logrotate.d/nginx）：

    /var/log/nginx/*.log {
        daily
        rotate 30
        compress
        delaycompress
        missingok
        notifempty
        create 0644 root adm
        sharedscripts
        postrotate
            if [ -f /var/run/nginx.pid ]; then
                kill -USR1 $(cat /var/run/nginx.pid)
            fi
        endscript
    }
    

  • PHP-FPM 示例（/etc/logrotate.d/php-fpm）：

    /var/log/php-fpm/*.log {
        daily
        rotate 7
        compress
        delaycompress
        missingok
        notifempty
        create 0640 www-data adm
        sharedscripts
        postrotate
            if [ -f /var/run/php-fpm/php-fpm.pid ]; then
                kill -USR2 $(cat /var/run/php-fpm.pid)
            fi
        endscript
    }
    

• 常用命令：
  • 测试配置：logrotate -d /etc/logrotate.d/nginx
  • 强制执行：logrotate -f /etc/logrotate.d/nginx
• 要点：Nginx 发送 USR1 重新打开日志文件；PHP-FPM 发送 USR2 安全重载；按业务保留周期设置 rotate，并开启 compress 节省空间。

三 命令行快速分析与统计

• 目标：快速定位错误、统计流量、排查异常、分析性能瓶颈。
• 常用命令示例（按需组合与保存为脚本）：
  • 查看最新错误并高亮：tail -n 200 /var/log/nginx/error.log | grep -i -E “error|warn|fatal”
  • 统计 5xx 状态码数量与前 10 个来源 IP：

    awk '$9 ~ /^5[0-9]{2}$/ {ip[$1]++} END {for(i in ip) print ip[i], i}' \
        /var/log/nginx/access.log | sort -nr | head
    

  • 统计 Top 10 请求路径与次数：

    awk '{path[$7]++} END {for(p in path) print path[p], p}' \
        /var/log/nginx/access.log | sort -nr | head
    

  • 统计 Top 10 User-Agent：

    awk -F'"' '{ua[$6]++} END {for(u in ua) print ua[u], u}' \
        /var/log/nginx/access.log | sort -nr | head
    

  • 分析 PHP-FPM 慢请求（需开启 slowlog）：

    awk '$NF ~ /slowlog/ {print $0}' /var/log/php-fpm/*.log
    

  • 分析 MySQL 错误与慢查询（需开启相应日志）：

    tail -n 200 /var/log/mysql/error.log
    mysqldumpslow -s c -t 10 /var/log/mysql/mysql-slow.log
    

• 提示：将常用命令写入脚本（如 analyze_nginx.sh），配合 cron 定时产出日报/周报。

四 可视化与集中化方案

• 轻量可视化：使用 GoAccess 对 Nginx 访问日志做实时分析与可视化报表
  • 安装：sudo apt-get install goaccess
  • 使用：goaccess /var/log/nginx/access.log -a -o /var/www/html/report.html --log-format=COMBINED
• 集中化平台（适合多机与长期留存）：
  • ELK Stack（Elasticsearch + Logstash + Kibana）：收集、解析、存储与可视化日志；适合复杂查询与仪表板。
  • Graylog：集中日志、强大检索与告警能力，支持多输入与管道处理。
  • Fluentd：统一日志采集与转发，可对接 ES、Graylog 等后端。
• 选型建议：单机或中小规模先用 GoAccess；需要跨主机、长期留存与告警时上 ELK/Graylog/Fluentd。

五 安全与维护要点

• 权限最小化：日志目录与文件建议设置为仅 root/adm 或相应用户组可读，例如 Nginx 日志 0644 root adm、PHP-FPM 日志 0640 www-data adm，避免泄露敏感信息。
• 日志级别与输出控制：生产环境避免记录过多调试信息；按需开启 general log 与 slow query log，慢查询阈值结合业务调优。
• 定期清理与归档：结合 logrotate 的 rotate/compress 策略与离线归档（如 rsync/tar），既控盘又保历史。
• 监控与告警：对 5xx、连接失败、慢查询激增等设定阈值告警（可用 Prometheus/Grafana 或 Zabbix 等），缩短 MTTR。