如何配置Filebeat的日志路径
小樊
45
2025-12-08 20:34:53
配置 Filebeat 日志路径
一 基本配置步骤
- 编辑配置文件：在 Linux 上通常为 /etc/filebeat/filebeat.yml。
- 在 filebeat.inputs 中设置 type: log 与 paths 数组，指定要采集的一个或多个日志文件路径。
- 配置输出（示例）：可输出到 Elasticsearch 或 Logstash。
- 启动与验证：启动服务并检查运行状态与日志，确保无报错。
示例（采集系统日志并输出到本机 Elasticsearch）：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/syslog
- /var/log/auth.log
output.elasticsearch:
hosts: [“localhost:9200”]
index: “filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”
二 常见路径写法与示例
- 单个文件：/var/log/syslog
- 多个文件：/var/log/syslog、/var/log/auth.log
- 目录通配：/var/log/*.log
- 递归目录：/var/log/**/*.log（采集子目录中所有匹配文件）
- 多路径组合：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/*.log
- /opt/app/*.log
- /var/log/nginx/*.log
三 高级采集选项
- 多行日志合并（如 Java 堆栈）：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/app/*.log
multiline.pattern: ‘^[0-9]{4}-[0-9]{2}-[0-9]{2}’
multiline.negate: true
multiline.match: after
multiline.max_lines: 300
- 排除与包含：
- 排除注释行：exclude_lines: [‘^#’]
- 仅采集匹配行：include_lines: [‘ERROR’, ‘WARN’]
- 从文件尾部开始读（适合已有大文件）：tail_files: true
- 扫描频率：scan_frequency: 60s（默认 10s）
- 失败重试退避：backoff: 10s
示例：
filebeat.inputs:
- type: log
enabled: true
paths:
- /opt/data/logs//.log
exclude_lines: [‘^#’]
tail_files: true
scan_frequency: 60s
backoff: 10s
四 使用模块采集常见应用日志
- 启用模块目录：/etc/filebeat/modules.d/*.yml，按需启用（如 nginx、system 等）。
- 示例（启用 Nginx 模块）：
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
- 然后启用具体模块（如在 modules.d/nginx.yml 中将 enabled 设为 true），并配置对应日志路径与解析方式。
说明：模块提供预置的 inputs 与 processors，可简化常见应用日志的采集与解析。
五 验证与常见问题
- 启动与开机自启：
- 启动：sudo systemctl start filebeat
- 自启：sudo systemctl enable filebeat
- 查看状态与日志：
- 状态：sudo systemctl status filebeat
- 日志：sudo journalctl -u filebeat -f（或 tail -f /var/log/filebeat/filebeat）
- 权限与路径：确保运行 Filebeat 的用户对目标日志文件与目录具有 读取权限；使用绝对路径；必要时在 inputs 中增加多个 paths。
- 配置语法：缩进使用 空格，避免 Tab；修改后先语法校验再重启。
- 输出连通性：确认 Elasticsearch/Logstash 地址与端口可达，必要时配置 SSL/TLS 与认证。
