如何用Filebeat进行系统监控

用 Filebeat 进行系统监控的实操指南

一 核心思路与适用场景

• Filebeat 是轻量级日志采集器，负责从主机读取日志并发送到 Elasticsearch、Logstash 等后端。它适合做“系统日志/应用日志”的集中采集与可视化，而非采集 CPU、内存、磁盘 I/O 等系统指标（指标应使用 Metricbeat 或 Prometheus Node Exporter）。常见采集对象包括：/var/log/messages、/var/log/syslog、/var/log/auth.log、/var/log/secure、/var/log/nginx/*.log 等。

二 快速上手步骤

• 安装
  • CentOS/RHEL：sudo yum install -y filebeat
  • Debian/Ubuntu：sudo apt update && sudo apt install -y filebeat
• 配置采集路径与输出
  • 编辑配置文件：/etc/filebeat/filebeat.yml
  • 示例（采集系统日志并输出到本机 Logstash）：

    filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /var/log/*.log
        - /var/log/syslog
        - /var/log/auth.log
      ignore_older: 72h
    
    output.logstash:
      hosts: ["localhost:5044"]
    

  • 如需直接写入 Elasticsearch（示例）：

    output.elasticsearch:
      hosts: ["localhost:9200"]
      username: "elastic"
      password: "your_password"
      index: "systemlog-%{+YYYY.MM.dd}"
    

• 启动与自启
  • sudo systemctl start filebeat
  • sudo systemctl enable filebeat
• 验证
  • 查看服务状态：sudo systemctl status filebeat
  • 查看 Filebeat 自身日志：sudo tail -f /var/log/filebeat/filebeat 或 sudo journalctl -u filebeat -f
  • 若输出到 Elasticsearch/Logstash，在对应管理界面或索引中确认数据是否到达。

三 关键配置与优化

• 路径与过滤
  • 精确采集：将 paths 指向 /var/log/syslog、/var/log/auth.log 等；必要时用 exclude_lines 过滤调试日志，用 exclude_files 排除压缩旧文件。
• 解析与处理
  • JSON 日志解析示例：

    processors:
      - decode_json_fields:
          fields: ["message"]
          target: ""
    

  • 可按需添加更多 processors（如 dissect、grok、rename、drop_event）做字段抽取与清洗。
• 时间与回溯
  • 使用 ignore_older: 72h 忽略过旧历史，避免重启后大量回填。
• 索引与生命周期
  • 通过 index 自定义索引名；结合 ILM（Index Lifecycle Management） 做热温冷与滚动策略（如 setup.ilm.enabled）。
• 安全与合规
  • 输出到受保护的 Elasticsearch 时配置 username/password；必要时开启 TLS 加密传输。

四 可视化与告警

• Kibana 可视化
  • 若输出到 Elasticsearch，在 Kibana 创建索引模式（如匹配 filebeat-*），导入 Filebeat 系统日志 仪表板，进行日志检索、字段分析与可视化展示。
• 运行监控
  • 使用 systemd 观察 Filebeat 服务状态与日志（journalctl -u filebeat -f）。
  • 启用 Filebeat 内置监控指标（如通过 filebeat-metrics 或 xpack.monitoring），在 Kibana Stack Monitoring 中查看采集延迟、吞吐、队列等健康指标。

五 常见排错与最佳实践

• 配置语法校验：filebeat test config -c /etc/filebeat/filebeat.yml
• 输出连通性校验：filebeat test output
• 权限与路径：确保 Filebeat 对 /var/log/ 具备读取权限；SELinux/AppArmor 场景下放行或设定策略。
• 资源控制：在高吞吐场景合理设置 bulk_max_size、worker、queue.mem.events、max_retries 等，避免内存与丢包。
• 只采集需要的日志，使用 ignore_older 与 exclude_* 减少无效数据，降低后端压力。