ubuntu filebeat如何进行日志存储管理

Ubuntu Filebeat日志存储管理指南

日志存储管理是Filebeat运维中的核心环节，主要包括日志收集路径配置、日志轮转策略、后端存储归档及性能优化等方面。以下是具体实施方法：

一、配置日志输入路径

首先需明确Filebeat监控的日志文件来源，通过filebeat.inputs配置项指定路径。例如，监控Ubuntu系统日志（/var/log/syslog）或自定义应用日志（/var/log/myapp/*.log）：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/syslog
    - /var/log/myapp/*.log

说明：type: log表示监控文本日志文件；enabled: true启用该输入源；paths支持通配符（如*.log）匹配多个文件。

二、设置日志轮转策略

日志轮转可避免单个日志文件过大，提升Filebeat处理效率。推荐使用系统级logrotate工具（而非Filebeat自身配置），实现更灵活的控制：

1. 安装与配置logrotate

Ubuntu系统默认安装logrotate，无需额外操作。

在/etc/logrotate.d/下创建filebeat配置文件，添加以下内容：

/var/log/filebeat/*.log {
    daily                # 每天轮转（可改为hourly/weekly）
    rotate 7             # 保留7个轮转文件（如filebeat.log.1~filebeat.log.7）
    compress             # 压缩旧日志（节省磁盘空间）
    missingok            # 忽略丢失的日志文件（不报错）
    notifempty           # 空文件不轮转
    create 0640 root adm # 新日志文件权限与属主（根据实际调整）
    postrotate
        if [ -f /var/run/filebeat/filebeat.pid ]; then
            kill -USR1 $(cat /var/run/filebeat/filebeat.pid) # 通知Filebeat重新打开日志
        fi
    endscript
}

2. 测试与启用

手动测试配置是否正确：

sudo logrotate -f /etc/logrotate.d/filebeat

logrotate默认通过/etc/cron.daily/logrotate每日自动运行，无需额外设置。

三、配置后端存储归档

Filebeat本身不存储日志，需将日志发送至后端系统（如Elasticsearch、Redis、Logstash）。以下是常见配置示例：

1. 输出到Elasticsearch（推荐）

Elasticsearch支持索引生命周期管理（ILM），自动归档旧日志：

output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}" # 按日期分索引

ILM策略示例（通过Kibana或API创建）：

PUT _ilm/policy/filebeat_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {"max_size": "50gb", "max_age": "7d"} # 热阶段：日志满50GB或7天滚动
        }
      },
      "delete": {
        "min_age": "30d", # 冷阶段：日志保留30天后删除
        "actions": {"delete": {}}
      }
    }
  }
}

将策略应用到索引模板：

PUT _template/filebeat_template
{
  "index_patterns": ["filebeat-*"],
  "policy": "filebeat_policy"
}

2. 输出到Redis（实时转发）

适用于需要快速转发的场景（如Logstash作为后续处理层）：

output.redis:
  hosts: ["localhost:6379"]
  key: "filebeat_logs" # Redis存储键名

3. 输出到Logstash（灵活处理）

通过Logstash实现日志过滤、转换后再存储：

output.logstash:
  hosts: ["localhost:5044"]

说明：选择输出目标时，需根据日志量、实时性要求及后续分析需求决定。

四、性能优化建议

当日志量较大时，需调整Filebeat配置以提升稳定性：

增加内存队列：避免因后端存储延迟导致日志丢失。

queue.mem.events: 4096 # 默认4096，可根据内存调整（如8192）
queue.mem.flush.min_events: 512 # 每512条事件刷新一次

启用磁盘队列：当内存队列满时，将事件写入磁盘（持久化）。
```
queue.disk.path: "/var/lib/filebeat/queue"
queue.disk.max_size: 100gb
```

过滤无关日志：通过processors移除不需要的字段，减少传输量。

processors:
  - drop_fields:
      fields: ["host.name", "log.offset"] # 删除指定字段

调整批量发送大小：减少网络请求次数。

output.elasticsearch:
  bulk_max_size: 512 # 每次批量发送512条事件

说明：性能优化需结合实际环境测试，避免过度配置导致资源浪费。

五、监控与维护

查看Filebeat状态：
```
sudo systemctl status filebeat
```

查看日志：

sudo journalctl -u filebeat -f # 实时查看Filebeat日志

监控后端存储：通过Elasticsearch的_cat/indices API或Kibana监控索引大小、文档数量，确保存储容量充足。

通过以上步骤，可实现Ubuntu系统下Filebeat日志的有效存储管理，兼顾实时性、可靠性与扩展性。