centos filebeat日志存储策略

Filebeat 在 CentOS 的日志存储策略

一策略总览

建议将策略划分为两层：
- Filebeat 自身运行日志：由 Filebeat 配置或系统的 logrotate 管理，控制本地保留天数、压缩与权限，避免无限增长。
- 被采集的业务日志：由 Filebeat 的输入与清理参数控制，避免重复采集、控制资源占用与数据丢失风险。

二自身运行日志配置

使用 Filebeat 内置日志到文件
- 在 /etc/filebeat/filebeat.yml 中开启文件日志并设置保留：
```
logging:
  level: info
  to_files: true
  files:
    path: /var/log/filebeat
    name: filebeat
    keepfiles: 7
```
- 说明：将日志写入 /var/log/filebeat/filebeat，最多保留 7 个旧文件（按文件计数，非按天）。修改后重启服务生效：sudo systemctl restart filebeat。
使用 logrotate 管理（推荐与内置策略二选一或叠加）
- 新建 /etc/logrotate.d/filebeat：
```
/var/log/filebeat/*.log {
    daily
    missingok
    rotate 7
    compress
    notifempty
    create 0640 root root
}
```
- 常用选项含义：
  - daily：按天轮转；rotate 7：保留 7 份；compress：压缩旧日志；
  - missingok：文件缺失不报错；notifempty：空文件不轮转；
  - create 0640 root root：新建文件权限与属主属组。
- 手动测试：sudo logrotate -f /etc/logrotate.d/filebeat；查看状态：cat /var/lib/logrotate/status。logrotate 通常由 /etc/cron.daily/logrotate 每日自动执行。

三被采集日志的存储与保留策略

输入选择
- 在 Filebeat 7.0+ 推荐使用 filestream 输入类型，较旧 log 输入更高效稳定。
清理与资源控制
- 忽略旧文件，避免无意义采集：ignore_older: 48h（示例为 48 小时，可按需调整）。
- 关闭长时间不活跃文件，释放文件句柄：close_inactive: 5m（示例为 5 分钟）。
- 限制每个 input 的 harvester 并发：harvester_limit: 10（示例值，视 CPU/IO 调整）。
可靠性与吞吐
- 持久化队列防数据丢失：queue.type: persisted，并结合 queue.max_bytes 与 flush.min_events 调整批量与内存占用。
- 批量发送提升吞吐：bulk_max_size 结合输出端（如 Elasticsearch/Logstash）批量大小与超时共同调优。

四目录权限与 SELinux 建议

运行用户与权限

建议以专用非特权用户运行 Filebeat（如创建 filebeat 用户），并设置配置与日志目录权限：

sudo useradd filebeat -r -M -s /sbin/nologin
sudo chown filebeat:filebeat /etc/filebeat/filebeat.yml
sudo chown -R filebeat:filebeat /var/log/filebeat
sudo chmod 640 /etc/filebeat/filebeat.yml

SELinux
- 如启用 SELinux，需确保 Filebeat 对相关目录具备访问上下文；可用 sestatus 查看状态，必要时通过 chcon 设置合适上下文，或临时 setenforce 0 排查（生产环境不建议长期关闭）。

五验证与运维要点

验证配置生效
- 查看轮转结果：ls -l /var/log/filebeat/；检查 Filebeat 状态：sudo systemctl status filebeat；查看自身日志：tail -f /var/log/filebeat/filebeat。
关键监控指标
- 关注 harvester 数量、发送队列长度、事件处理延迟、CPU/内存使用率，并定期检查 Filebeat 自身日志中的 ERROR/WARN 信息，及时排障与调优。

最新问答

相关标签