如何自定义Filebeat的日志格式

如何自定义Filebeat的日志格式
自定义Filebeat日志格式主要分为两类场景：自定义日志输出格式（发送到目标系统如Elasticsearch/Logstash的格式）和自定义Filebeat自身运行日志格式。以下是具体操作步骤：

一、自定义日志输出格式（发送到目标系统的格式）

日志输出格式的自定义需通过processors（处理器）实现，用于解析、添加或转换日志字段，适配目标系统（如Elasticsearch、Logstash）的分析需求。

1. 准备工作：打开配置文件

Filebeat的主配置文件通常位于：

Linux系统：/etc/filebeat/filebeat.yml
Windows系统：C:\Program Files\Filebeat\filebeat.yml
使用文本编辑器（如vi、Notepad++）打开该文件。

2. 使用Processors定制字段与格式

processors是Filebeat的核心配置项，可通过多种处理器实现日志格式的自定义：

添加自定义字段：通过add_fields处理器向日志事件中添加自定义字段（如环境标识、应用名称），支持将字段放在根级别或嵌套在指定对象中。
示例（添加根级别字段）：

processors:
  - add_fields:
      fields:
        environment: "production"
        app_name: "web_server"

示例（添加嵌套字段）：

processors:
  - add_fields:
      target: "metadata"  # 嵌套在metadata对象下
      fields:
        region: "us-west-1"
        service: "auth"

删除/保留字段：通过mutate处理器移除无用字段（如敏感信息）或保留指定字段，减少日志体积。
示例（删除password字段）：
```
processors:
  - mutate:
      remove_field: ["password", "secret_key"]
```
示例（保留timestamp、message字段）：
```
processors:
  - mutate:
      keep_fields: ["timestamp", "message"]
```

解析结构化日志：若日志为半结构化（如key=value或JSON字符串），可使用dissect（简单键值对）或grok（复杂正则）处理器提取字段。
示例（dissect解析timestamp=2025-10-18 log_level=INFO message=User logged in）：

processors:
  - dissect:
      tokenizer: "%{timestamp} %{log_level} %{message}"
      field: "message"  # 从message字段中解析
      target_prefix: ""  # 解析后的字段存入根级别

示例（grok解析Apache访问日志）：

processors:
  - grok:
      patterns:
        - "%{COMBINEDAPACHELOG}"
      field: "message"

JSON格式转换：若日志为纯文本，可通过decode_json_fields处理器将message字段中的JSON字符串解析为结构化字段。
示例（解析message中的JSON）：

processors:
  - decode_json_fields:
      fields: ["message"]  # 解析message字段
      target: ""  # 解析后的字段存入根级别
      overwrite_keys: true  # 覆盖同名字段

3. 针对不同输出目标的配置

输出到Elasticsearch：在output.elasticsearch部分添加processors，解析后的字段会随日志事件发送到Elasticsearch。
示例：

output.elasticsearch:
  hosts: ["localhost:9200"]
  processors:
    - add_fields:
        fields:
          log_source: "filebeat-server"
    - decode_json_fields:
        fields: ["message"]

输出到Logstash：在output.logstash部分添加processors，Logstash会接收解析后的结构化日志。
示例：

output.logstash:
  hosts: ["localhost:5044"]
  processors:
    - add_fields:
        fields:
          pipeline_id: "logstash_pipeline_1"

二、自定义Filebeat自身运行日志格式

Filebeat自身的运行日志（如启动信息、错误日志）格式可通过logging配置段调整，支持plain（默认文本）和json（结构化JSON）两种格式。

1. 打开配置文件

同上，编辑filebeat.yml。

2. 配置日志格式

在logging部分添加format参数：

JSON格式（适合机器解析）：

logging:
  level: info  # 日志级别（debug/info/warning/error）
  to_files: true  # 输出到文件
  files:
    path: /var/log/filebeat  # 日志目录
    name: filebeat.log  # 日志文件名
    keepfiles: 7  # 保留最近7天日志
    permissions: 0640  # 文件权限
  format: json  # 关键：设置为JSON格式

示例JSON日志输出：

{"log.level": "info","@timestamp": "2025-10-18T10:00:00.000Z","log.logger": "filebeat","message": "Starting Filebeat","log.origin": {"file.name": "filebeat.go","file.line": 320}}

普通文本格式（默认，适合人工查看）：
不设置format或设置为plain（默认值），日志将以易读的文本形式输出：

logging:
  level: info
  to_files: true
  files:
    path: /var/log/filebeat
    name: filebeat.log
  format: plain  # 可省略，默认为plain

示例文本日志输出：

2025-10-18T10:00:00.000Z INFO filebeat Starting Filebeat

3. 重启Filebeat生效

修改配置后，重启Filebeat服务使更改生效：

Linux系统：
```
sudo systemctl restart filebeat
```
Windows系统：通过“服务管理器”找到“Filebeat”服务，右键选择“重启”。

注意事项

修改filebeat.yml前建议备份原文件，避免配置错误导致Filebeat无法启动。
复杂格式转换（如非标准键值对日志）可通过script处理器编写自定义脚本（需JavaScript或Lua知识），参考Filebeat官方文档的“Scripting”章节。
自定义字段过多可能影响日志性能，建议仅添加必要的字段。
输出到Elasticsearch时，避免字段名与Elasticsearch内置字段冲突（如@timestamp、message）。