Ubuntu下Filebeat性能优化技巧
合理配置多行日志合并规则，减少单条日志的处理次数。关键参数包括：multiline.pattern（匹配多行起始行的正则表达式，如^\[匹配以[开头的行）、multiline.negate（设为true表示否定匹配，即匹配pattern之外的行作为多行起始）、multiline.match（设为after表示将后续行追加到起始行之后）、multiline.max_lines（限制合并的最大行数，避免内存溢出，默认10000）。
若日志为JSON格式，开启keys_under_root: true将JSON字段提升至根层级，减少嵌套层级；设置overwrite_keys: true允许覆盖已有字段，避免字段冲突；指定message_key: log明确日志消息字段（如log），提升解析效率。
使用persisted类型的队列（queue.type: persisted）替代内存队列，确保进程重启后数据不丢失；调整queue.max_bytes（如1024MB）控制队列最大容量，避免内存耗尽；设置flush.min_events（如2048）和flush.timeout（如1s），平衡批量发送的延迟与吞吐量（当事件数达到阈值或超时触发发送）。
通过harvester_limit（如512）限制同时运行的harvester（日志采集器）数量，避免过多进程竞争CPU和I/O资源；在filebeat.inputs中设置max_concurrent_files（如512），控制单个输入类型的并发文件读取数，提升I/O利用率。
增大bulk_max_size（如2048），提高每次批量发送到Elasticsearch或Logstash的文档数，减少网络请求次数；启用output.compression: true，对传输数据进行gzip压缩（默认压缩级别为6），降低网络带宽占用。
使用filestream输入类型（Filebeat 7.0及以上版本推荐），替代老旧的log输入类型。filestream采用更高效的文件监控机制（如inotify），减少CPU占用，同时支持更好的文件轮转处理。
避免使用复杂的处理器（如grok解析非结构化日志），若日志无需额外处理，直接发送原始日志；通过condition语句过滤无关日志（如仅采集level: error的日志），减少数据处理量。
启用setup.monitor.enabled: true，集成Elastic Stack监控（如Kibana的Stack Monitoring），实时查看Filebeat的性能指标（如日志处理速率、队列积压、发送延迟），及时定位瓶颈（如Elasticsearch写入慢导致的队列堆积）。
确保日志文件定期轮转（如通过logrotate工具设置size 100M或daily），避免单个日志文件过大（如超过1GB），导致Filebeat读取和处理效率下降；配置Filebeat的scan.frequency（如10s），平衡文件检测的实时性与CPU占用。
若单台机器资源不足，可在同一机器上运行多个Filebeat实例（每个实例监控不同日志目录），或部署分布式Filebeat（多台机器分别采集日志），分散负载；升级服务器硬件（如增加CPU核心数、内存容量、使用SSD存储），提升整体处理能力。
