Debian系统中Filebeat的日志压缩方法

在Debian系统中，Filebeat日志压缩可通过以下两种方式实现：

一、使用logrotate工具压缩

1. 安装logrotate

   sudo apt-get install logrotate
   

2. 创建/编辑配置文件
   在/etc/logrotate.d/目录下创建filebeat配置文件，添加以下内容：

   /var/log/filebeat/*.log {
       daily
       rotate 7
       compress
       delaycompress
       missingok
       notifempty
       create 640 root adm
       postrotate
           /usr/bin/filebeat -f /etc/filebeat/filebeat.yml reload > /dev/null
       endscript
   }
   

   • compress：启用压缩（默认使用gzip）。
   • delaycompress：延迟压缩，直到下一次轮转。
3. 测试并启用定时任务

   sudo logrotate -f /etc/logrotate.d/filebeat  # 手动测试
   

   logrotate默认通过cron每日自动运行。

二、通过Filebeat自身配置压缩（传输时压缩）

1. 编辑Filebeat配置文件
   在/etc/filebeat/filebeat.yml中，为输入模块添加compress处理器：

   filebeat.inputs:
   - type: log
     paths: ["/var/log/filebeat/*.log"]
     processors:
       - compress:
           codec: gzip  # 压缩编解码器（支持gzip、zstd等）
   

2. 重启Filebeat生效

   sudo systemctl restart filebeat
   

   注意：此方式仅在日志传输到输出目标（如Elasticsearch）前压缩，不会压缩本地日志文件。

三、混合使用（推荐）

• 本地日志轮转+压缩：用logrotate管理本地日志文件（如/var/log/filebeat/），配置compress和rotate参数。
• 传输时二次压缩：在Filebeat输出到远程（如Elasticsearch）时，通过processors再次启用压缩，减少网络传输量。

以上配置可根据实际需求调整压缩频率、保留天数等参数，确保日志管理高效且节省存储空间。