Filebeat如何自定义日志解析规则

Filebeat自定义日志解析规则的核心方法
Filebeat通过**Processors（处理器）**实现日志解析规则的定制，支持从字段提取、格式转换到数据过滤的全流程处理。以下是具体配置步骤及常见场景的实现方式：

一、前置准备：定位配置文件

Filebeat的主配置文件默认位于/etc/filebeat/filebeat.yml（Linux系统），需使用文本编辑器（如vi）修改该文件。

二、自定义解析规则的关键步骤

1. 定义输入源（Input）

首先需指定要解析的日志文件路径，通过filebeat.inputs配置项设置。例如，监控/var/log/*.log下的所有日志文件：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

此步骤是解析的基础，确保Filebeat能读取到目标日志。

2. 使用Processors实现具体解析

Processors是自定义解析的核心，以下是常见场景的配置示例：

① 提取结构化字段（Dissect/Grok）

若日志为半结构化（如2025-11-07 INFO User login success），可通过dissect（轻量级模板解析）或grok（正则表达式解析）提取字段：

Dissect示例（适用于固定格式日志）：

processors:
- dissect:
    tokenizer: '%{timestamp} %{loglevel} %{message}'  # 定义日志模板
    field: 'message'                                # 从message字段提取
    target_prefix: ''                               # 不添加前缀

解析后，日志事件将新增timestamp、loglevel、message字段。

Grok示例（适用于复杂格式）：

processors:
- grok:
    patterns:
      - '%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}'
    field: 'message'

需提前在filebeat.yml中定义patterns，或引用预置的Grok模式库。

② 解析JSON日志

若日志为JSON格式（如{"timestamp":"2025-11-07","level":"INFO","message":"User login"}），可通过decode_json_fields将JSON内容提升为事件顶层字段：

processors:
- decode_json_fields:
    fields: ["message"]       # 指定包含JSON的字段
    target: ""                # 直接合并到事件顶层
    overwrite_keys: true      # 覆盖同名字段

此配置会将JSON中的字段提取到事件根层级。

③ 过滤或修改字段

删除无用字段：使用drop_fields移除敏感或不需要的字段（如tag、beat）：
```
processors:
- drop_fields:
    fields: ["tag", "beat", "source"]
```

添加自定义字段：使用add_fields注入业务标识（如app_name）：

processors:
- add_fields:
    fields:
      app_name: "order_service"

转换字段类型：使用mutate将字符串时间转换为Elasticsearch可识别的日期格式：

processors:
- mutate:
    convert:
      - field: "timestamp"
        type: "date"
        format: "ISO8601"  # 指定输入日期格式

此配置会将timestamp字段转为Elasticsearch的date类型。

3. 高级场景：自定义脚本处理

若上述Processor无法满足需求（如复杂键值对解析），可通过script Processor调用JavaScript脚本实现。例如，将key=value;key2=value2格式的日志转为JSON：

processors:
- script:
    lang: javascript
    id: parse_kv_logs
    file: ${path.home}/modules/filebeat/kv-formatting.js

脚本内容（kv-formatting.js）需实现process函数，解析message字段并生成新的JSON结构。

三、保存并重启Filebeat

完成配置后，按Esc键输入:wq保存filebeat.yml，然后重启Filebeat服务使配置生效：

sudo systemctl restart filebeat

重启后，可通过journalctl -u filebeat -f查看日志，确认配置是否正确。

四、验证解析效果

可通过以下方式验证解析规则是否符合预期：

查看Elasticsearch中的索引文档，确认字段是否正确提取；
使用filebeat test config -e命令测试配置文件语法；
通过Kibana的Discover模块查看解析后的日志数据。

通过以上步骤，可灵活定制Filebeat的日志解析规则，满足不同场景的结构化需求。需根据实际日志格式调整Processor参数，确保解析准确性。