centos filebeat为何丢数

在 CentOS 上运行 Filebeat 丢数据（丢日志） 是比较常见的问题，通常不是 Filebeat“随机丢”，而是某些机制或配置导致未被采集 / 被覆盖 / 被限流 / 被丢弃。下面按最常见原因 → 排查方式 → 解决办法来说明。

一、最常见原因盘点（按发生概率）

1️⃣ 日志被“轮转（rotate）”太快，Filebeat 还没读取

典型场景

使用 logrotate
日志几秒/几分钟就切割一次
Filebeat 还在读旧文件，新文件未被识别

表现

某些时间段的日志整段丢失
文件存在过但 ES/Kafka 里没有

解决

使用 logrotate 时，不要用 copytruncate

# 不推荐
/var/log/app/*.log {
    copytruncate
}

推荐：

/var/log/app/*.log {
    daily
    missingok
    notifempty
    create 0644 app app
}

Filebeat 配置确保：

filebeat.inputs:
- type: log
  paths:
    - /var/log/app/*.log
  scan_frequency: 1s

2️⃣ Filebeat 注册表（registry）损坏或清理

原理 Filebeat 用 registry 记录“读到哪了”

常见问题

/var/lib/filebeat/registry 被删
容器重启未挂载 registry
多实例共用 registry

表现

重启后大量日志“消失”
或从头重新读（看起来像丢）

解决

不要手动删除 registry
容器环境务必挂载：

-v /data/filebeat/registry:/usr/share/filebeat/data

3️⃣ 输出队列满 → 主动丢数据（⚠️重点）

典型配置问题

output.elasticsearch:
  hosts: ["http://es:9200"]

未配置 queue

后果

ES 慢 / Kafka 慢
Filebeat 内存队列满
drop 事件

日志特征

queue is full, dropping event

解决（强烈建议）

queue.mem:
  events: 4096
  flush.min_events: 512
  flush.timeout: 5s

或使用磁盘队列（生产推荐）：

queue.disk:
  path: /var/lib/filebeat/diskqueue
  max_size: 10GB

4️⃣ 文件被“覆盖写”而不是“追加写”

错误示例

echo "log" > app.log   # 覆盖

Filebeat 只监控 inode + offset

文件被覆盖 → inode 可能变化
已读 offset 失效

解决

应用必须 append 写

echo "log" >> app.log

5️⃣ 文件在 Filebeat 启动前就已被删除

表现

启动前日志已清理
永远不可能补回来

解决

调整 logrotate 保留时间
或 Filebeat 先于应用启动

6️⃣ 多行日志（multiline）配置错误

典型问题

multiline.pattern: '^\['
multiline.match: after

配置错误导致：

日志被合并
或一直等下一行 → 超时丢失

解决

明确 timeout

multiline.timeout: 5s

7️⃣ Filebeat 被 OOM / 被杀

CentOS 常见：

内存不足
systemd 限制

检查

journalctl -u filebeat
dmesg | grep filebeat

二、快速自查清单（建议你对照）

# 1. 是否有 drop 日志
journalctl -u filebeat | grep -i drop

# 2. registry 是否异常
ls -lh /var/lib/filebeat/registry

# 3. 文件是否 append
lsof | grep filebeat

# 4. 输出是否慢
filebeat test output

三、生产环境防丢“标准配置”（推荐）

filebeat.inputs:
- type: log
  paths:
    - /var/log/app/*.log
  scan_frequency: 1s
  close_inactive: 5m
  ignore_older: 24h

queue.disk:
  path: /var/lib/filebeat/diskqueue
  max_size: 10GB

output.elasticsearch:
  hosts: ["http://es:9200"]
  bulk_max_size: 2048

四、如果你愿意，我可以帮你精准定位

你可以补充：

CentOS 版本
Filebeat 版本
输出到哪里（ES / Kafka / Logstash）
是否容器
丢数现象（整段丢 / 偶发丢 / 重启后丢）

我可以直接帮你看配置 + 给最小修复方案。