通过 Filebeat 实现日志转发的核心思路与步骤
- 安装 Filebeat（Debian/Ubuntu 示例）
- 更新索引并安装：sudo apt update && sudo apt install filebeat
- 配置文件路径：/etc/filebeat/filebeat.yml
- 启动并设置开机自启：sudo systemctl start filebeat && sudo systemctl enable filebeat
- 验证服务与日志：sudo journalctl -u filebeat -f 或 tail -f /var/log/filebeat/filebeat.log
- 如跨主机转发，开放相应端口（如 5044 给 Logstash、9200 给 Elasticsearch）
三种常见转发路径与最小可用配置
-
直接到 Elasticsearch
- 适用：快速接入、无复杂处理
- 配置要点：
- 输入：监控 /var/log/*.log
- 输出：hosts 指向 ES；设置索引模板与 ILM
- 最小示例：
- filebeat.inputs:
- type: log
enabled: true
paths:
- output.elasticsearch:
- hosts: [“es-host:9200”]
- index: “filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”
- setup.ilm.enabled: false
- setup.template.name: “filebeat”
- setup.template.pattern: “filebeat-*”
- setup.template.settings:
- index.number_of_shards: 1
- index.number_of_replicas: 1
- 说明：生产环境建议开启安全认证（username/password 或 API Key）、按需调整分片与副本
-
经 Logstash 处理后再入 ES
- 适用：需要 Grok/数据清洗/丰富/路由
- Filebeat 侧：
- output.logstash:
- hosts: [“logstash-host:5044”]
- Logstash 侧（示例 input 片段）：
- input { beats { port => 5044 } }
- filter { grok { match => { “message” => “%{COMBINEDAPACHELOG}” } } }
- output { elasticsearch { hosts => [“es-host:9200”] index => “logstash-%{+YYYY.MM.dd}” } }
- 提示：Logstash 与 ES 版本需兼容；复杂管道建议拆分配置与队列缓冲
-
写入 Kafka（再由下游消费者处理）
- 适用：解耦、削峰、多系统复用
- 配置要点：
- 输出：指定 Kafka brokers、topic、确认与分区策略
- 最小示例：
- output.kafka:
- hosts: [“kafka-broker1:9092”,“kafka-broker2:9092”]
- topic: “app-logs”
- required_acks: 1
- partition.round_robin.reachable_only: false
- 说明：可按业务设置 key、压缩、重试与批量参数，配合消费者组实现多目标消费
关键配置与实用技巧
- 路径与多行
- 多目录：/var/log//.log；避免漏采注意通配层级
- 多行日志（如堆栈）：使用 multiline 将异常堆栈合并为单事件
- 行过滤与字段增强
- 仅采集关键级别：include_lines: [‘^ERR’,‘^WARN’]
- 剔除调试：exclude_lines: [‘^DBG’]
- 附加元数据：fields: {service: “order”, env: “prod”}；fields_under_root: true 可提升检索便利性
- 时间与状态控制
- 忽略历史旧文件：ignore_older: 24h（减少启动导入噪声）
- 首次仅追新：tail_files: true（注意与 registry 状态交互，避免丢行）
- JSON 解析
- JSON 日志：json.keys_under_root: true、json.overwrite_keys: true、json.add_error_key: true
- 模块与仪表盘
- 内置模块（如 system、nginx、apache、mysql）：filebeat modules enable nginx；配合 Kibana 仪表盘快速落地
- 性能与可靠性
- 批量与队列：调大 bulk_max_size、worker、queue.mem.events；必要时开启持久化队列
- 负载均衡与重试：output 开启负载均衡与合理重试策略，保障网络抖动下的至少一次投递
验证与排错清单
- 配置语法与生效
- 使用 filebeat test config -c /etc/filebeat/filebeat.yml 校验语法
- 动态查看日志：journalctl -u filebeat -f 或 tail -f /var/log/filebeat/filebeat.log
- 连接与端口
- 到 ES：curl -XGET http://es-host:9200 检查连通
- 到 Logstash：nc -vz logstash-host 5044 或查看 Logstash 日志
- 到 Kafka：使用控制台生产者/消费者验证 topic 收发
- 数据落地与索引
- ES：GET _cat/indices/filebeat-* 查看是否创建索引与文档计数
- 若使用 ILM，确认 rollover 与保留策略符合预期
- 常见问题
- 权限不足：确保 Filebeat 对日志文件有读取权限，且配置目录/文件权限安全
- 重复采集：避免同一路径被多个 prospector 覆盖；谨慎使用 tail_files 与 registry 清理
- 时区与格式：统一采集端与 ES/Kibana 时区，避免时间解析偏差
