Ubuntu上如何进行日志分析与管理

Ubuntu日志分析与管理实操指南

一 核心位置与快速查看

• 日志集中目录为**/var/log**。常见文件与用途：
  • /var/log/syslog：系统综合日志（所有级别消息）
  • /var/log/auth.log：认证与授权（SSH 登录、sudo 等）
  • /var/log/kern.log：内核日志
  • /var/log/dmesg：内核环缓冲（启动相关）
  • /var/log/boot.log：启动过程日志
  • 应用日志：/var/log/apache2/、/var/log/mysql/ 等
• 快速查看与检索常用命令：
  • 实时查看：tail -f /var/log/syslog
  • 关键字检索：grep -i ‘error’ /var/log/syslog
  • 查看服务日志（systemd）：journalctl -u nginx.service
  • 按时间过滤：journalctl --since “2025-12-06 00:00:00” --until “2025-12-06 12:00:00”
  • 查看本次启动：journalctl -b
  • 查看内核消息：journalctl -k 或 dmesg

二 常用分析与过滤命令

• 基础文本工具组合：
  • 统计某日错误数：awk ‘/Dec 6/ && /error/ {count++} END {print “errors:”, count}’ /var/log/syslog
  • 提取某字段并去重计数（示例提取 IP）：awk ‘{print $1}’ /var/log/auth.log | sort | uniq -c | sort -nr | head
  • 按时间窗口查看：sed -n ‘/Dec 6 10:00:00/,/Dec 6 11:00:00/p’ /var/log/syslog
• journalctl 高效检索：
  • 最近 N 条：journalctl -n 100
  • 倒序查看：journalctl -r
  • 仅本次启动的错误：journalctl -b -p err
  • 按服务与优先级：journalctl -u nginx -p warning…err
• 审计日志（auditd）：
  • 生成文件访问报告：aureport --file
  • 生成进程创建报告：aureport --process

三 日志管理与轮转配置

• 使用 logrotate 做按日/按大小轮转、压缩与清理（默认已安装）：
  • 全局配置：/etc/logrotate.conf；服务配置：/etc/logrotate.d/（如 syslog、nginx）
  • 示例（/etc/logrotate.d/syslog）：

    /var/log/syslog
    /var/log/mail.info
    /var/log/mail.warn
    /var/log/mail.err
    /var/log/mail.log
    /var/log/daemon.log
    /var/log/kern.log
    /var/log/auth.log
    /var/log/user.log
    /var/log/lpr.log
    /var/log/cron.log
    /var/log/debug
    /var/log/messages {
        daily
        rotate 7
        missingok
        notifempty
        compress
        delaycompress
        sharedscripts
        postrotate
            /usr/lib/rsyslog/rsyslogd reload > /dev/null
        endscript
    }
    

  • 测试与强制执行：logrotate -vf /etc/logrotate.conf
• 使用 rsyslog 做日志转发与过滤（默认已安装）：
  • 主配置：/etc/rsyslog.conf；自定义规则：/etc/rsyslog.d/*.conf
  • 示例（转发 auth 日志到远程）：

    auth,authpriv.*   @192.0.2.10:514
    

  • 重启服务：sudo systemctl restart rsyslog
• 集中式与可视化方案（按需选配）：
  • ELK Stack（Elasticsearch + Logstash + Kibana）：集中存储、检索与可视化
  • Graylog：日志管理与 SIEM 能力
  • Grafana Loki + Promtail：轻量聚合与查询，适合与 Grafana 联动

四 安全与合规要点

• 访问控制与完整性：
  • 关键日志目录与文件权限最小化（如 /var/log/ 属主 root:adm，权限 0755/0640）
  • 通过 auditd 对关键日志文件设置监控（如 auditctl -w /var/log/auth.log -p wa -k auth_log）
• 日志级别与内容治理：
  • 生产环境避免 debug/trace 级别泛滥；在日志中避免记录密码、密钥、令牌等敏感信息
  • 统一日志格式（建议包含：时间、主机、服务/进程、级别、线程/请求ID、消息），便于检索与聚合
• 保留与归档策略：
  • 结合业务与合规要求设置保留周期（如 rotate 30 保留 30 份/天），对含敏感信息的归档进行加密与访问控制
• 远程集中与备份：
  • 将关键日志发送到远程日志服务器，降低本地篡改风险；定期异地/离线备份审计与认证日志

五 高效分析与排障清单

• 定位服务启动失败：journalctl -u <服务名> -b -e（直接跳到本次启动末尾的错误）
• 追踪认证异常：grep -i ‘failed|invalid’ /var/log/auth.log | tail -50
• 分析内核与硬件问题：dmesg -T | tail -50 或 journalctl -k -p err
• 排查 Web 访问异常（Nginx）：tail -f /var/log/nginx/error.log | grep -i ‘timeout’
• 生成每日摘要报告：/usr/sbin/logwatch --output mail --mailto you@example.com --detail high
• 快速定位大文件与增长趋势：du -h /var/log --max-depth=1 | sort -hr；对异常增长的服务优先检查日志级别与轮转策略