1. 调整内存队列配置，提升大文件处理可靠性
Filebeat默认使用内存队列（queue.type: memory），大文件采集时易因内存不足导致数据丢失。建议将队列类型改为persisted（持久化队列），并增大queue.max_bytes（队列最大字节数，如1024MB），同时合理设置flush.min_events（触发批量发送的最小事件数，如2048）和flush.timeout（批量发送超时时间，如1s）。持久化队列能保证Filebeat重启后继续处理未发送的数据，避免大文件采集中断。
2. 优化批量发送参数，提高传输效率
增大output.elasticsearch.bulk_max_size（每次批量发送的最大事件数，默认50），例如设置为512或1024，可减少向Elasticsearch发送的批量请求数，降低网络开销。同时，启用output.compression: true（压缩传输数据），能减小网络传输的数据量，进一步提升传输效率。
3. 控制并发采集，避免资源耗尽
通过harvester_limit（限制同时运行的harvester数量，默认无限制）参数，避免过多harvester同时处理大文件导致CPU、内存耗尽。例如，设置为512可平衡并发性能与系统资源占用。此外，调整max_concurrent_files（每个输入的最大并发文件数）也能控制并发度，防止资源过度消耗。
4. 调整harvester缓冲区，加快文件读取速度
增大harvester.buffer_size（每个harvester读取文件时的缓冲区大小，默认16KB），例如设置为1638400（1.6MB），可提高单次读取的数据量，减少I/O操作次数，加快大文件的读取速度。
5. 配置文件分割与清理，减少单文件大小
大文件会增加Filebeat的处理负担，建议通过logrotate（Ubuntu系统自带工具）定期分割日志文件。创建/etc/logrotate.d/filebeat配置文件，添加以下内容可实现每天分割日志并保留7天：
/var/log/filebeat/*.log {
daily
rotate 7
compress
missingok
notifempty
create 0640 root root
sharedscripts
postrotate
systemctl restart filebeat > /dev/null 2>&1 || true
endscript
}
分割后的小文件更易被Filebeat快速处理。
6. 优化扫描频率，平衡实时性与性能
调整scan_frequency（Filebeat扫描新文件的间隔时间，默认10s），例如设置为30s或1m，可减少Filebeat对监控目录的频繁扫描，降低CPU占用。但需注意，增大该值会延长新文件的检测时间，需根据实时性需求权衡。
7. 使用filestream输入（Filebeat 7.0+推荐）
Filebeat 7.0及以上版本推荐使用filestream输入类型（替代老旧的log输入），其采用更高效的文件跟踪机制，能更好地处理大文件和频繁变化的文件场景。配置示例如下：
filebeat.inputs:
- type: filestream
enabled: true
paths:
- /var/log/largefile.log
fields_under_root: true
filestream输入能减少内存占用，提高大文件的采集稳定性。
