Filebeat如何监控Linux系统日志

1. 安装Filebeat
首先在Linux系统上安装Filebeat。不同发行版的安装命令不同：

• Debian/Ubuntu：sudo apt-get update && sudo apt-get install filebeat
• RHEL/CentOS：sudo yum install filebeat 或通过官网下载RPM包安装。

2. 配置Filebeat监控系统日志
配置文件默认路径为/etc/filebeat/filebeat.yml，核心是修改filebeat.inputs部分，指定要监控的系统日志文件路径。常见配置示例如下：

• 监控所有系统日志：通过通配符*.log监控/var/log/目录下所有日志文件，ignore_older参数可忽略超过72小时的旧日志（避免处理陈旧数据）。

  filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/*.log
    ignore_older: 72h
  

• 监控特定系统日志：若只需监控syslog（通用系统日志）、auth.log（认证日志，CentOS中为secure）等关键文件，可直接指定路径。

  filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/syslog
      - /var/log/auth.log  # CentOS中替换为/var/log/secure
  

• 排除不需要的文件：通过exclude_files参数排除压缩文件（如.gz）或其他无关文件，减少资源消耗。

  filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/*.log
    exclude_files: ['\.gz$']
  

3. 可选：优化配置（处理器、模块）

• 使用处理器解析日志：若日志为JSON格式，可通过decode_json_fields处理器提取message字段中的内容，将其转换为结构化数据（便于后续分析）。

  filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/app.json.log
    processors:
      - decode_json_fields:
          fields: ["message"]
          target: ""  # 解析后的字段存入根对象
  

• 启用系统模块：Filebeat内置system模块，包含针对Linux系统日志（如syslog、auth、kernel）的预定义配置（如字段映射、索引模板），可简化配置流程。启用方法：sudo filebeat modules enable system，之后修改filebeat.yml中的output部分即可。

4. 配置输出目标
Filebeat需将收集的日志发送到后端服务（如Elasticsearch或Logstash），在filebeat.yml中配置：

• 发送到Elasticsearch：若Elasticsearch运行在本地，默认端口为9200，索引名称可使用动态格式（如filebeat-%{+yyyy.MM.dd}，按日期分割索引）。

  output.elasticsearch:
    hosts: ["localhost:9200"]
    index: "filebeat-%{+yyyy.MM.dd}"
  

• 发送到Logstash：若需通过Logstash进行更复杂的处理（如过滤、转换），配置Logstash的地址（默认端口5044）。

  output.logstash:
    hosts: ["localhost:5044"]
  

5. 启动与验证Filebeat

• 启动服务：使用systemctl命令启动Filebeat，并设置为开机自启。

  sudo systemctl start filebeat
  sudo systemctl enable filebeat
  

• 检查状态：通过systemctl status filebeat确认服务是否运行正常（显示“active (running)”即为成功）。
• 查看日志：若需调试，可通过journalctl -u filebeat -f实时查看Filebeat的运行日志。
• 验证数据：登录Elasticsearch（如curl http://localhost:9200/_search）或Kibana，检查是否接收到系统日志数据。

6. 可选：调整系统参数（提升监控性能）
若监控大量日志文件，可能需调整Linux系统的inotify参数（限制单个用户可监控的文件数量）。编辑/etc/sysctl.conf，添加或修改以下行：

fs.inotify.max_user_watches=524288

运行sudo sysctl -p使配置生效。