Filebeat在Debian上的数据存储优化

在Debian系统上优化Filebeat的数据存储，可以通过以下几个策略进行：

控制Filebeat自身日志大小

• 编辑Filebeat配置文件：
  • 增加或确认如下配置：

    logging:
      level: warning # 设置为 warning 或 error，减少不必要的 info/debug 日志
    to_files: true
    files:
      path: /var/log/filebeat
      name: filebeat.log
      keepfiles: 7 # 只保留最近 7 个日志文件
      rotateeverybytes: 10485760 # 每个日志最大 10MB
    

定期清理registry文件

• 谨慎使用：
  • 如果日志文件已归档、清理，可以清空对应状态（仅限在你确定不会影响采集完整性的前提下）：

    sudo systemctl stop filebeat
    sudo rm -rf /var/lib/filebeat/registry/filebeat/*
    sudo systemctl start filebeat
    

  • 风险提示：这样做会让Filebeat重新读取所有还存在的日志文件。

合理配置采集日志的“关闭条件”

• 避免Filebeat长期追踪已不再更新的旧日志文件：
  • 添加如下配置：

    filebeat.inputs:
      - type: log
        paths:
          - /var/log/*.log
        close_inactive: 5m # 文件 5 分钟无写入就关闭追踪
        clean_inactive: 48h # 文件 48 小时无写入 + close 状态，将从 registry 移除
        ignore_older: 24h # 忽略 24 小时前的旧文件
    

启用磁盘队列但限制缓存空间

• 在网络或目标端（如Elasticsearch）波动时：
  • 配置磁盘队列：

    queue.disk:
      enabled: true
      max_size: 1024 # 单位 MB，最大缓存 1GB
      path: "/var/lib/filebeat/queue"
    

  • 同时定期清理 /var/lib/filebeat/queue 中旧文件。

日志源本地轮转

• 对于采集的源日志文件（如nginx、systemd、应用日志）增长过快：
  • 开启logrotate管理日志文件
  • 定期压缩、删除旧日志
  • 示例配置 /etc/logrotate.d/nginx：

通过上述配置和优化措施，可以有效地提升Filebeat在Debian系统上处理大量日志的能力，确保日志系统的性能和可靠性。