Filebeat在CentOS上的日志存储如何管理

Filebeat在CentOS上的日志存储管理

一 日志路径与级别配置

• 配置文件默认路径为：/etc/filebeat/filebeat.yml。启用文件日志需设置：logging.to_files: true，指定目录：logging.files.path: /var/log/filebeat，保留数量：logging.files.keepfiles: 7，日志级别：logging.level: info。示例片段：

  logging:
    level: info
    to_files: true
    files:
      path: /var/log/filebeat
      name: filebeat
      keepfiles: 7
      permissions: 0640
  

  修改后执行：systemctl restart filebeat 使配置生效。

二 使用logrotate进行系统级轮转（推荐）

• 创建轮转规则：/etc/logrotate.d/filebeat

  /var/log/filebeat/*.log {
      daily
      missingok
      rotate 7
      compress
      notifempty
      create 0640 root root
      postrotate
          # 若使用 PIDFile 方式，可按需发送信号；多数 RPM 包通过 systemd 管理，无需此段
          # if [ -f /var/run/filebeat/filebeat.pid ]; then
          #     kill -USR1 $(cat /var/run/filebeat/filebeat.pid)
          # fi
      endscript
  }
  

• 测试与启用：
  • 手动测试：logrotate -f /etc/logrotate.d/filebeat
  • 验证结果：ls -l /var/log/filebeat/（应看到按日轮转且压缩的旧日志）
  • 日常由 /etc/cron.daily/logrotate 自动执行，无需额外干预。

三 使用Filebeat内置日志轮转

• 在 filebeat.yml 的 logging.files 下可设置按时间保留的日志文件数量（如 keepfiles: 7）。示例：

  logging:
    level: info
    to_files: true
    files:
      path: /var/log/filebeat
      name: filebeat
      keepfiles: 7
  

• 说明：内置方式便于快速配置保留策略；如需按“大小”轮转或更复杂的保留逻辑，优先使用 logrotate。修改后执行：systemctl restart filebeat。

四 监控与容量规划建议

• 服务日志观测：使用 journalctl -u filebeat -f 实时查看 Filebeat 自身输出，便于排查轮转与运行异常。
• 关键监控指标：关注 harvester 数量、发送队列长度、事件处理延迟、CPU/内存使用率，并结合日志错误与警告进行调优。
• 资源与性能：合理设置 queue.type: persisted、queue.max_bytes、bulk_max_size，并根据负载调整 harvester_limit，避免资源过度占用。