Filebeat怎样进行日志分析

Filebeat进行日志分析的完整流程

一架构与核心概念

Filebeat 负责轻量级采集与转发日志，常见输出为 Elasticsearch 或 Logstash。在 Kibana 中通过 Index Patterns 与 Discover/Visualize/Dashboard 完成检索、分析与可视化。
快速理解：Filebeat 采集 →（可选）Logstash 处理 → Elasticsearch 存储与检索 → Kibana 分析与展示。

二安装与快速配置

Ubuntu 安装
- 导入 GPG 并添加仓库（示例为 7.x，可按需替换为 8.x）：
  - wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
  - echo “deb https://artifacts.elastic.co/packages/7.x/apt stable main” | sudo tee /etc/apt/sources.list.d/elastic-7.x.list
  - sudo apt update && sudo apt install filebeat -y
CentOS 安装
- 导入 GPG 并添加仓库（示例为 7.x）：
  - sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  - echo -e “[elasticsearch-7.x]\nname=Elasticsearch repository for 7.x packages\nbaseurl=https://artifacts.elastic.co/packages/7.x/yum\ngpgcheck=1\ngpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch\nenabled=1\nautorefresh=1\ntype=rpm-md” | sudo tee /etc/yum.repos.d/elasticsearch.repo
  - sudo yum install filebeat -y
最小可用配置 filebeat.yml（输出到本机 Elasticsearch）
- filebeat.inputs:
  - type: log enabled: true paths:
    - /var/log/*.log
- output.elasticsearch:
  - hosts: [“localhost:9200”]
  - index: “filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”
启动与验证
- Ubuntu：sudo systemctl start filebeat && sudo systemctl enable filebeat
- CentOS：sudo systemctl start filebeat && sudo systemctl enable filebeat
- 语法检查：filebeat test config -e
- 运行状态：
  - Ubuntu：sudo journalctl -u filebeat -f
  - CentOS：sudo systemctl status filebeat
- 查看索引：curl -X GET “localhost:9200/_cat/indices?v”

三解析与预处理要点

多行日志合并（如 Java 堆栈）
- filebeat.inputs:
  - type: log paths: [“/var/log/app/*.log”] multiline.pattern: ‘^[^[]’ multiline.negate: true multiline.match: after
JSON 日志解析
- filebeat.inputs:
  - type: log paths: [“/var/log/app/json.log”] json.keys_under_root: true json.add_error_key: true
使用处理器 dissect/grok 结构化文本
- processors:
  - dissect: tokenizer: “%{timestamp} %{level} %{message}” field: “message” target_prefix: “”
字段脱敏与重命名
- processors:
  - drop_fields: fields: [“password”, “credit_card”]
  - rename: fields: - from: “src_ip” to: “clientip”
启用内置模块（自动采集与解析，如 system、nginx）
- sudo filebeat modules enable system
- sudo filebeat modules enable nginx
- 初始化模块与仪表板：sudo filebeat setup

四在 Kibana 进行分析与可视化

访问 http://<kibana_host>:5601，进入 Stack Management > Index Patterns，创建索引模式（如 filebeat-*），时间字段选择 @timestamp。
在 Discover 中使用 KQL 检索与分析，例如：
- status: 500
- message: “ERROR”
- 按字段（如 level、clientip）筛选与统计。
在 Visualize Library 创建图表（柱状图、折线图等），并在 Dashboard 整合为运维/业务视图。

五生产实践与优化

索引生命周期管理（ILM）：配置 ILM 自动滚动与保留（如保留 30 天），控制存储成本。
监控与告警：使用 Watcher 设置阈值规则（如“1 小时内出现 10 次以上 ERROR”），触发邮件/短信/企业微信等告警。
版本化索引命名：使用 filebeat-%{[agent.version]}-%{+yyyy.MM.dd} 避免多版本混用带来的映射冲突。
复杂解析放 Logstash：当需要更强的 Grok/Date/GeoIP 等处理时，将输出指向 Logstash（localhost:5044），由 Logstash 完成过滤与增强后再写入 ES。

最新问答