Ubuntu 上 Filebeat 性能优化实操指南
一 基线检查与系统资源
- 升级到稳定版本，优先使用 7.x/8.x；在支持的版本中，将输入类型由 log 切换为更高效的 filestream。
- 打开 Filebeat 自身监控，便于定位瓶颈：
- 方式一：输出到 ES 的监控
- monitoring.enabled: true
- monitoring.elasticsearch.hosts: [“es1:9200”,“es2:9200”]
- 方式二：本地 HTTP 指标端点
- http.enabled: true
- http.port: 5067
- 提升系统资源上限，编辑 /etc/security/limits.conf：
- 按需运行多实例（按目录或业务拆分）以分摊 I/O 与网络压力，容器化场景可用 Kubernetes/Docker 进行横向扩展。
二 输入与多行日志
- 使用 filestream 输入替代 log，减少文件句柄与内部开销。
- 正确配置 multiline 以避免一条日志被拆成多事件：
- 示例（合并以日期开头的 Java 堆栈）：
- multiline.pattern: ‘^[0-9]{4}-[0-9]{2}-[0-9]{2}’
- multiline.negate: true
- multiline.match: after
- 控制复杂度：如 multiline.max_lines，防止过长多行拖慢处理。
- 减少文件系统扫描压力：
- 提高 scan_frequency（如 5s–15s），避免过于频繁；
- 将 close_inactive 设为略大于 scan_frequency（如 close_inactive: 30s），及时释放不活跃文件句柄；
- 对历史文件使用 ignore_older（如 24h/48h），避免重复读取。
三 队列与并发
- 内存队列（低延迟，宕机可能丢数）：
- queue.type: memqueue
- queue.mem.events: 4096–16384（按内存与吞吐调大）
- queue.mem.flush.min_events: 约 queue.mem.events 的 75%
- queue.mem.flush.timeout: 1s
- 持久化队列（高可靠，抗宕机）：
- queue.type: persisted
- queue.spool.file.path: “${path.data}/spool.dat”
- queue.spool.size: 256–1024 MiB
- queue.spool.write.buffer_size: 8–16 MiB
- queue.spool.write.flush.timeout: 5s
- queue.spool.write.flush.events: 1024–8192
- queue.spool.read.flush.timeout: 0s
- 并发与抓取控制：
- 输出并发 workers：output.elasticsearch.workers 与 ES 数据节点数匹配（如 3）；
- 限制同时运行的 harvester：harvester_limit（如 0 不限制，或按 CPU/磁盘适度限制）。
四 批量发送与网络
- 增大批量与刷新阈值，提高吞吐：
- output.elasticsearch.bulk_max_size: 5000–15000（视 ES 能力与延迟而定）
- output.elasticsearch.flush_interval: 1–5s
- 启用压缩降低带宽占用：
- output.compression: true（gzip）
- 若经由 Logstash：
- output.logstash.bulk_max_size 与 workers 同步放大；
- 确保 Logstash 的 pipeline.workers 与输出批量配置匹配。
五 处理器与输出目标及快速调优清单
- 精简处理器链路：仅保留必要的 decode_json_fields / dissect / add_fields / drop_fields；对不需要的 modules 禁用，减少 CPU 与内存开销。
- 针对 JSON 日志：使用 json.keys_under_root / json.overwrite_keys / json.message_key 降低后续处理复杂度。
- 输出目标策略：
- 直连 ES：合理设置 workers、bulk_max_size、flush_interval；
- 经由 Logstash：保证 LS 的持久化队列与过滤线程充足，避免成为瓶颈。
- 快速调优清单（按“先队列→再批量→后输入”的顺序）：
- 切换 filestream，设置 ignore_older / close_inactive / scan_frequency；
- 选择 memqueue 或 persisted，按内存/可靠性调大队列与刷新参数；
- 提升 bulk_max_size / flush_interval 并开启 compression；
- 打开 monitoring 或 http.metrics，观察吞吐、丢事件、队列占用与处理延迟，按指标回调参；
- 仍不足时，按目录/业务拆分，运行 多实例 横向扩展。
