如何使用Filebeat收集应用日志

使用 Filebeat 收集应用日志

一 安装与目录结构

• 在 Linux（Debian/Ubuntu/CentOS） 上安装 Filebeat，常见方式为使用官方仓库的 .deb/.rpm 包或下载官方压缩包解压即用。安装完成后，关键目录通常为：配置文件 /etc/filebeat/filebeat.yml，数据存储 /var/lib/filebeat/（记录采集进度），模块目录 /usr/share/filebeat/modules/。以 CentOS 为例，可用 YUM 添加 Elastic 仓库后安装；以 Debian 为例，编辑 /etc/filebeat/filebeat.yml 进行配置。以上路径与安装方式适用于后续配置与运维。

二 最小可用配置与启动

• 编辑配置文件 /etc/filebeat/filebeat.yml，添加一个应用日志输入（示例为 JSON 日志），输出到控制台用于验证：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/myapp/*.log
  json.keys_under_root: true
  json.overwrite_keys: true

output.console:
  pretty: true

• 启动与验证（Systemd 场景）：

sudo systemctl enable --now filebeat
sudo systemctl status filebeat
# 观察控制台输出是否出现解析后的 JSON 日志

• 要点：
  • 将应用日志规范化为 JSON 并在采集端使用 json.keys_under_root: true 可直接将字段提升到事件顶层，便于检索与聚合。
  • 初次接入建议先用 output.console 验证，再切换到正式输出。

三 输出到 Elasticsearch 与按应用分索引

• 直接写入 Elasticsearch，并按应用设置索引名（示例为 nginx 与 tomcat 两类日志）：

filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  fields:
    index: nginx

- type: log
  paths:
    - /application/tomcat/logs/catalina.out
  fields:
    index: tomcat

output.elasticsearch:
  hosts: ["http://10.0.0.71:9200"]
  indices:
    - index: "elk-nginx-%{+yyyy.MM.dd}"
      when.equals:
        fields.index: "nginx"
    - index: "elk-tomcat-%{+yyyy.MM.dd}"
      when.equals:
        fields.index: "tomcat"

• 说明：
  • 通过 fields.index 为不同应用打标签，再用 indices.when.equals 将不同应用日志写入各自按日滚动的索引，便于隔离与权限控制。
  • 若需要自定义索引模板（分片数、副本数等），可在输出段关闭 ILM 并配置 setup.template，例如：
    • setup.ilm.enabled: false
    • setup.template.name: “myapp”
    • setup.template.pattern: “myapp-*”
    • setup.template.settings.index.number_of_shards: 3
    • setup.template.settings.index.number_of_replicas: 1

四 多行堆栈与常见采集场景

• Java/异常堆栈等多行日志合并（按行首为 [ 的规则将后续行合并到该事件）：

filebeat.inputs:
- type: log
  paths:
    - /var/log/java-app/*.log
  multiline:
    pattern: '^\['
    negate: true
    match: after
    max_lines: 500
    timeout: 5s

• 其他常见场景（简要示例）：
  • 输出到 Redis（供后续 Logstash/消费端处理）：

output.redis:
  hosts: ["10.0.0.81:6379"]
  key: "nginx_log"
  db: 0

• 输出到 Logstash（集中解析与加工后再入 ES）：

output.logstash:
  hosts: ["10.0.0.81:5044"]

• 仅写入本地文件（调试/归档）：

output.file:
  path: "/tmp/"
  filename: "app.log"

• 提示：多行合并的关键参数含义为 pattern（匹配规则）、negate（是否取反）、match=after（将匹配行之后的行合并到该事件），并可通过 max_lines 与 timeout 控制合并上限与超时落盘。

五 生产实践与运维要点

• 运行与可靠性
  • 推荐使用 Systemd 托管，确保进程常驻与自动拉起；必要时结合 nohup 或容器化运行。
  • 关注 Registry 文件（位于 /var/lib/filebeat/）以确认采集位点，避免重启后重复或丢失。
• 性能与资源
  • 结合负载与延迟，适当调整 harvester_buffer_size、bulk_max_size、内存队列等参数；开启监控（如 logging.metrics）观察吞吐与积压。
• 安全与合规
  • 跨网络传输建议启用 SSL/TLS；敏感信息使用 Keystore 管理；对输出目标实施 基于角色的访问控制（RBAC）。
• 观测与可视化
  • 在 Kibana 创建索引模式（如 elk-nginx-、elk-tomcat-），使用 KQL 检索与分析，例如：
    • message: “error” AND host.name: “web-01”
  • 建议同时部署 Metricbeat 监控 Filebeat 自身运行状态与资源占用。