Linux syslog为何日志丢失严重

Linux syslog日志丢失的常见根因

速率限制触发丢弃：默认情况下，rsyslog 与 systemd-journald 都会对单位时间内的日志条数做限流。典型默认是每 5 秒最多 200 条，超出的消息会被丢弃；常见日志提示如：“imjournal: X messages lost due to rate-limiting” 或 “Suppressed N messages from /system.slice/xxx.service”。这在应用短时间爆量（如异常、启动刷屏）时尤为明显。
日志轮转与清理策略导致“看不见”：logrotate 按大小或时间切割日志并删除旧文件。若保留份数或周期设置过小，或轮转后权限/属主不正确，容易造成“新日志写入了但旧日志被删/不可读”的错觉。常见配置位于 /etc/logrotate.conf 与 /etc/logrotate.d/rsyslog。
服务未运行或配置错误：rsyslog 未启动、配置语法错误、日志路径/权限不当，都会直接导致日志写入失败或丢失。应检查服务状态与配置文件有效性。
磁盘空间不足或 I/O 受阻：磁盘满、inode 耗尽或 I/O 拥塞，会使写入失败或被系统静默丢弃。应优先排查 df -h、df -i 与系统 I/O 状况。
网络传输丢包（远程日志场景）：使用 UDP 发送日志时，网络抖动、丢包或远端拥塞会造成日志缺失；TCP/RELP 更可靠但配置不当同样会丢。需核查网络连通性与远端接收能力。
权限/安全策略限制：日志文件或目录的权限/属主错误（如非 root:adm）、或 SELinux/AppArmor 策略限制，都会让写入失败。应检查文件权限与策略日志。

快速排查步骤

检查服务状态与配置语法
- 查看服务：systemctl status rsyslog；必要时 systemctl restart rsyslog
- 语法检查：rsyslogd -N1（rsyslog 语法校验）
查找限流丢弃痕迹
- 查看内核日志：journalctl -u rsyslog | grep -i rate-limiting
- 查看被抑制的日志：journalctl -u systemd-journald | grep -i suppressed
检查磁盘与 inode
- 空间：df -h；inode：df -i
检查轮转与文件状态
- 规则：cat /etc/logrotate.d/rsyslog
- 权限/属主：ls -l /var/log/syslog（常见应为 root:adm）
远程日志链路
- 连通与端口：nc -vz 514（UDP/TCP 视配置而定）
权限与安全策略
- SELinux：getenforce、ausearch -m avc -ts recent
- AppArmor：检查 /sys/kernel/security/apparmor/ 与日志

稳妥的修复与配置建议

调整或关闭速率限制（按需）
- 调整 journald（/etc/systemd/journald.conf）：
  - 放宽：RateLimitInterval=1s、RateLimitBurst=10000
  - 关闭：RateLimitInterval=0、RateLimitBurst=0
- 调整 rsyslog（/etc/rsyslog.conf 或 /etc/rsyslog.d/*.conf）：
  - 放宽：$SystemLogRateLimitInterval 1、$SystemLogRateLimitBurst 10000
  - 模块级放宽：$imjournalRatelimitInterval 1、$imjournalRatelimitBurst 10000
- 应用与重启：systemctl restart systemd-journald rsyslog
- 风险提示：放宽/关闭限流会提升日志完整度，但可能增加 CPU/磁盘 I/O 与 存储占用，请在容量与合规范围内调整。
正确配置 logrotate，避免“看不见”的丢失
- 示例（/etc/logrotate.d/rsyslog）：
  - /var/log/syslog {
    - daily
    - rotate 30
    - compress
    - delaycompress
    - missingok
    - notifempty
    - create 0640 root adm
    - postrotate
      - /usr/sbin/systemctl reload rsyslog >/dev/null 2>&1 || true
    - endscript
  - }
- 测试与生效：logrotate -d /etc/logrotate.d/rsyslog（调试），logrotate -f /etc/logrotate.d/rsyslog（强制执行）
- 要点：保留足够历史（如 rotate 30）、设置合适权限（如 0640 root adm）、轮转后 reload rsyslog 保证持续写入。
远程日志的可靠性提升
- 优先使用 TCP 或 RELP；在 rsyslog 输出动作中使用队列（如 action(type=“omfwd” target=“x.x.x.x” port=“514” protocol=“tcp” queue.type=“LinkedList” queue.size=“10000” queue.saveonshutdown=“on”)）以缓冲突发流量，减少远端瞬时拥塞导致的丢失。

最新问答

相关标签