Filebeat在Ubuntu上的日志轮转策略有哪些

Filebeat在Ubuntu上的日志轮转策略

策略总览

• 系统级 logrotate 轮转 Filebeat 自身日志：通过 /etc/logrotate.d/filebeat 定义轮转周期、保留份数与压缩等，适合绝大多数 Ubuntu 场景，稳定且运维成本低。
• Filebeat 内部文件输出日志轮转：当使用 output.file 将日志写入本地文件时，可用 Filebeat 自带参数按大小滚动与保留，便于与采集路径解耦。
• 由 rsyslog/journald 接管输出并轮转：将 Filebeat 日志输出到 syslog/journald，由系统日志栈负责轮转与归档，减少应用自身文件句柄管理复杂度。

策略一 使用 logrotate 轮转 Filebeat 自身日志

• 适用对象：Filebeat 使用 file 输出或写入 /var/log/filebeat/ 的日志文件。
• 推荐配置示例（/etc/logrotate.d/filebeat）：

  /var/log/filebeat/*.log {
      daily
      missingok
      rotate 7
      compress
      delaycompress
      notifempty
      create 0640 root adm
      sharedscripts
      postrotate
          systemctl reload filebeat >/dev/null 2>&1 || true
      endscript
  }
  

• 要点说明：
  • 使用 copytruncate 可避免重启/重载，但在极端高并发写入下存在极小概率丢行风险；优先采用 postrotate + reload 让 Filebeat 重新打开新文件描述符。
  • 测试与生效：sudo logrotate -f /etc/logrotate.d/filebeat；logrotate 通常由 /etc/cron.daily/logrotate 每日定时执行。

策略二 使用 Filebeat 内部文件输出轮转（output.file）

• 适用对象：希望由 Filebeat 自行管理其输出日志文件的大小与数量（例如调试或本地落盘场景）。
• 配置要点（filebeat.yml）：

  output.file:
    path: "/var/log/filebeat"
    filename: "filebeat.log"
    rotate_every_kb: 104857600   # 100 MB
    number_of_files: 10
    rotate_on_startup: false
  logging.to_files: true
  logging.files:
    path: /var/log/filebeat
    name: filebeat-internal
    keepfiles: 7
    permissions: 0640
  

• 说明：
  • 通过 rotate_every_kb 与 number_of_files 控制滚动与保留；与系统级 logrotate 相比，集成度更高，但职责边界更“内聚”，需确保磁盘与 I/O 能力匹配。

策略三 由 rsyslog/journald 接管输出并轮转

• 适用对象：希望统一由系统日志栈管理 Filebeat 日志（便于集中化轮转、审计与采集）。
• 配置思路：
  • 将 Filebeat 日志输出到 syslog（例如通过 systemd 的 StandardOutput=journal+console），再由 rsyslog/journald 按策略轮转。
  • 示例（systemd 覆盖片段，/etc/systemd/system/filebeat.service.d/override.conf）：

    [Service]
    StandardOutput=journal+console
    StandardError=journal+console
    SyslogIdentifier=filebeat
    

  • 如需写入文件并由 rsyslog 轮转，可在 /etc/rsyslog.d/filebeat.conf 中配置路径与轮转策略，然后重启 rsyslog。

选型与注意事项

• 优先选择 logrotate + reload 管理 Filebeat 自身日志，兼顾可靠性与可维护性；仅在明确需要时启用 copytruncate。
• 使用 output.file 时，合理设置 rotate_every_kb/number_of_files，并监控磁盘使用；与系统级轮转避免“双重管理”同一文件。
• 若采用 rsyslog/journald，确保 Filebeat 的 SyslogIdentifier 与 rsyslog 配置一致，且系统日志的轮转策略（如 /etc/logrotate.d/rsyslog）与保留周期匹配合规要求。
• 无论采用哪种策略，保持 权限与属主 正确（如 0640 root adm），并在变更后用 logrotate -f 或 systemctl reload filebeat 验证。