以下是Ubuntu系统下优化Filebeat采集效率的方法:
scan_frequency控制文件扫描频率,ignore_older忽略旧文件,harvester_limit限制并发采集器数量。multiline配置合并多行日志,减少处理次数。bulk_max_size增大单次发送数据量,启用output.compression压缩传输数据。queue.type: persisted启用持久化队列,设置queue.max_bytes控制内存占用。flush.min_events和flush.timeout平衡数据发送频率与延迟。ulimit调整系统资源限制。filestream输入类型(Filebeat 7.0+),替代老旧log类型,提升效率。setup.monitor.enabled监控性能指标,如处理延迟、队列积压等。参考来源: