如何利用Filebeat分析Linux日志

1. 安装Filebeat
在Linux系统（如CentOS、Ubuntu）上，可通过包管理器或手动下载安装Filebeat。以CentOS为例，步骤如下：

添加Elastic YUM仓库：sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch；创建仓库文件/etc/yum.repos.d/elasticsearch.repo，内容为[elasticsearch-7.x]（版本号按需替换）、baseurl=https://artifacts.elastic.co/packages/7.x/yum、gpgcheck=1等；
安装Filebeat：sudo yum install filebeat -y。
Ubuntu系统则通过wget下载GPG密钥并添加仓库，再用apt安装。

2. 配置Filebeat核心参数
配置文件默认位于/etc/filebeat/filebeat.yml，需重点设置以下部分：

inputs（输入源）：定义要收集的日志文件路径。例如，监控所有/var/log/*.log文件：
```
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
```
可选配置：exclude_lines（排除包含“DBG”的行）、exclude_files（排除.gz压缩文件）、fields（添加自定义字段，如app_id: "my_app"）。
processors（处理器）：对日志数据进行解析或增强。例如，使用dissect解析JSON格式日志（假设日志格式为2025-01-01 12:00:00 INFO This is a message）：
```
processors:
- dissect:
    tokenizer: "%{timestamp} %{level} %{message}"
    field: "message"
    target_prefix: ""  # 解析后的字段存入根层级
```
其他常用处理器：grok（匹配复杂模式）、remove_fields（删除敏感字段，如password）。
output（输出目标）：指定日志发送目的地。常见配置为Elasticsearch：
```
output.elasticsearch:
  hosts: ["localhost:9200"]  # Elasticsearch地址
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"  # 动态生成日期索引
```
若需通过Logstash转发，可配置output.logstash（指定Logstash地址）。

3. 启动与验证Filebeat

4. 使用Kibana可视化分析

登录Kibana（默认地址http://<kibana_host>:5601）；
创建索引模式：进入“Management > Index Patterns”，输入filebeat-*（匹配Filebeat生成的索引），点击“Create index pattern”；
查看日志：进入“Discover”页面，选择刚创建的索引模式，即可通过Kibana的查询语法（如level:ERROR）筛选、分析日志（如统计错误日志数量、查看时间趋势）。

5. 优化与进阶配置

启用Filebeat模块：针对常见应用（如Nginx、MySQL），Filebeat提供了预定义的模块，简化配置。例如，启用Nginx模块：
```
filebeat.modules:
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log*"]
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log*"]
```
启用后，Filebeat会自动解析Nginx日志并生成对应的索引模式。
性能优化：
- 使用filestream输入类型（替代旧版log类型，更高效）；
- 调整harvester_limit（限制并发采集器数量，默认为5）；
- 启用批量发送（output.elasticsearch.bulk_max_size: 50，默认为20）；
- 开启压缩（output.elasticsearch.compression_level: 5，减少网络带宽占用）。
监控Filebeat：通过Elastic Stack的监控功能（需开启X-Pack），在Kibana的“Stack Monitoring”中查看Filebeat的性能指标（如日志处理速度、延迟、资源占用）。

最新问答