Filebeat如何进行日志压缩与归档

Filebeat日志压缩与归档实践

总体思路

• Filebeat 主要负责采集与转发日志，不提供完整的本地“归档”能力。常见做法是：
  • 本地使用 logrotate 对 Filebeat 自身日志（如 /var/log/filebeat/）进行按日/按大小轮转并压缩，避免磁盘被占满。
  • 远端将日志写入 Elasticsearch 后，用 ILM（索引生命周期管理） 做热温冷分层、滚动与删除，实现长期“归档”。

本地日志压缩与轮转

• 使用系统自带的 logrotate 管理 Filebeat 自身日志，推荐配置如下（路径与用户可按实际调整）：

# /etc/logrotate.d/filebeat
/var/log/filebeat/*.log {
    daily
    rotate 7
    compress
    delaycompress
    missingok
    notifempty
    create 0640 root adm
    sharedscripts
    postrotate
        /usr/bin/filebeat -c /etc/filebeat/filebeat.yml reload >/dev/null 2>&1
    endscript
}

• 要点说明：
  • compress 启用 gzip 压缩旧日志；delaycompress 常用于避免刚轮转出的文件立即被压缩，便于排查。
  • postrotate 通过 filebeat 的 reload 让进程重新打开日志文件句柄，防止继续写入已轮转的旧文件。
  • 测试与生效：
    • 语法/模拟：sudo logrotate -d /etc/logrotate.d/filebeat
    • 强制执行：sudo logrotate -f /etc/logrotate.d/filebeat
  • 验证：ls -lh /var/log/filebeat/ 应能看到类似 filebeat.log.1.gz 的压缩文件。

传输层压缩

• 若希望降低网络带宽占用，可在输出阶段开启压缩（不影响本地文件是否压缩）：
  • 输出到 Elasticsearch：

output.elasticsearch:
  hosts: ["localhost:9200"]
  compress: true

• 输出到 Logstash：

output.logstash:
  hosts: ["localhost:5044"]
  compress: true

• 说明：上述压缩作用于“发送过程”，常用于跨机房/公网传输场景，代价是一定的 CPU 开销。

远端归档与生命周期管理

• 将日志写入 Elasticsearch 时，使用 ILM 自动滚动与归档：
  • 创建 ILM 策略（示例：滚动条件为 50GB 或 7 天，超过 30 天删除）：

PUT _ilm/policy/filebeat-ilm
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50gb",
            "max_age": "7d"
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

• 在索引模板或 Filebeat 的 Elasticsearch 输出中绑定该策略，实现按策略自动归档与清理。

常见问题与排查

• 避免重复轮转：不要同时对同一日志路径既用 logrotate 又启用 Filebeat 内置文件日志（logging.files）；路径与用途需区分。
• 权限与路径：确保 Filebeat 对 /var/log/filebeat/ 及压缩目录具备写权限；必要时在 logrotate 中使用 create 0640 root adm 等权限模板。
• 通知 Filebeat 重新打开日志：使用 reload 而非粗暴 kill，减少丢日志风险；验证命令：sudo filebeat test config 与 sudo journalctl -u filebeat -f。