Filebeat在CentOS上的日志存储策略

Filebeat在CentOS上的日志存储策略主要涉及输出目标配置、日志轮转管理和存储优化，具体如下：

一、输出目标配置

通过filebeat.yml指定日志存储位置，支持多种存储后端：

• 本地文件系统：

  output.file:  
    path: "/var/log/filebeat"  # 日志存储路径  
    name: "app-%{+YYYY.MM.dd}.log"  # 按日期轮转文件名  
    max_size: 100MB  # 单个文件最大大小  
    max_files: 5  # 保留的最大文件数量  
  

• Elasticsearch：

  output.elasticsearch:  
    hosts: ["http://elasticsearch:9200"]  
    index: "app-logs-%{+yyyy.MM.dd}"  # 按日期创建索引，便于检索  
  

• Logstash/Kafka：
  先转发至Logstash处理，再存储到Elasticsearch或其他存储。

二、日志轮转策略

1. 系统级轮转（推荐）：
   使用logrotate工具管理Filebeat日志文件，配置示例：

   # /etc/logrotate.d/filebeat  
   /var/log/filebeat/*.log {  
     daily  
     rotate 7  
     compress  
     missingok  
     notifempty  
     postrotate  
       kill -USR1 $(cat /var/run/filebeat.pid)  # 通知Filebeat重新打开日志文件  
     endscript  
   }  
   

2. Filebeat内置轮转：
   通过logging.files参数配置（需注意与系统轮转的区别）：

   logging:  
     files:  
       path: "/var/log/filebeat"  
       name: "filebeat"  
       rotateeverybytes: 10485760  # 每10MB轮转  
       keepfiles: 7  
   

三、存储优化策略

• 索引生命周期管理（ILM）：
  在Elasticsearch中配置索引的滚动、删除策略，例如保留7天或30天的日志索引。
• 集中存储：
  将日志发送至分布式存储（如HDFS、S3），适合大规模日志归档。
• 权限与安全：
  通过logging.files.permissions设置日志文件权限（如640），避免敏感信息泄露。

四、验证与监控

• 查看Filebeat日志路径：

  # 确认配置的日志路径  
  grep "logging.files.path" /etc/filebeat/filebeat.yml  
  # 查看实时日志  
  tail -f /var/log/filebeat/filebeat.log  
  

• 监控存储空间：
  使用df -h检查磁盘使用情况，避免日志占满磁盘。

总结：通过配置输出目标、结合系统轮转工具及存储策略，可实现Filebeat在CentOS上的高效日志存储与管理。优先使用logrotate进行轮转，确保与系统日志管理机制兼容。