CentOS上Filebeat的日志传输机制是什么

核心架构与处理流程

• Filebeat 在 CentOS 上以多模块流水线的方式工作：由 Input 发现并监控日志文件，针对每个文件启动 Harvester 逐行读取；读取到的事件进入 Spooler/内存队列（memqueue） 缓冲，再由 Publisher 批量发送到后端（如 Logstash/Elasticsearch/Redis）；发送成功后由 Registrar 将文件的读取 offset 持久化到本地 registry 中，确保断点续传与至少一次投递语义。该机制依赖文件 inode/device 标识来跟踪文件身份，避免重复或遗漏。

可靠性与数据一致性机制

• 至少一次投递与确认机制：事件经 Publisher 发往后端，收到成功 ACK 后才由 Registrar 更新 registry 的 offset，因此已确认的数据不会重复发送；若未收到 ACK 或进程异常，重启后会从 registry 记录的 offset 继续读取，可能导致极少量重复。
• 文件身份与移动/轮转处理：通过 inode + device 唯一标识文件；文件被重命名或移动时，仍能识别为同一日志流继续采集；日志轮转时，旧文件在 close_inactive（默认 5 分钟）不活跃后关闭，新文件由新的 Harvester 接管。
• 容器场景要点：需将 registry 目录挂载到宿主机，否则容器重启会丢失位点，导致重复采集。
• 异常边界：出现 inode 重用（老文件删除后新文件复用同一 inode）可能使新文件从旧位点开始读取而遗漏数据；日志被清空会触发 ErrFileTruncate，Filebeat 将 offset 置 0 并重启 Harvester 重新采集。

常见输出路径与用途

• 直接到 Elasticsearch：适合轻量直写与快速检索，配置示例：
  • output.elasticsearch.hosts: [“es-host:9200”]
• 到 Logstash：适合复杂解析与丰富处理，配置示例：
  • output.logstash.hosts: [“logstash-host:5044”]
  • 对应 Logstash 侧使用 beats 输入插件监听 5044 端口。
• 到 Redis：作为缓冲队列削峰填谷，配置示例：
  • output.redis.hosts: [“redis-host:6379”]
  • 对应消费端（如 Logstash）用 redis 输入插件读取列表/通道数据。

在 CentOS 上的快速验证

• 查看服务状态与日志：
  • sudo systemctl status filebeat
  • sudo journalctl -u filebeat -f
• 校验配置语法：
  • filebeat test config
• 直连 ES 验证索引：
  • curl -X GET “localhost:9200/_cat/indices?v”
• 直连 Redis 验证队列：
  • redis-cli
  • LRANGE filebeat 0 -1