Filebeat为何采集不到数据

Filebeat 采集不到数据，通常不是单一原因，而是输入配置、路径、权限、输出或状态文件等某一环节出了问题。下面按最常见 → 较少见的顺序给出排查清单，基本能覆盖 90% 的场景。

一、先确认最基本的 3 件事（高频原因）

1️⃣ Filebeat 是否真的在运行？

ps -ef | grep filebeat
# 或
systemctl status filebeat

如果没运行，当然采集不到。

2️⃣ 采集路径是否正确？

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/*.log

常见错误：

✅ 写成了 /var/log/nginx/
✅ 目录不存在
✅ 路径拼错（大小写、多空格）
✅ 使用 ~ 或相对路径（不建议）

✅ 验证路径是否存在：

ls /var/log/nginx/*.log

3️⃣ 日志文件是否真的有新增内容？

Filebeat 只采集新增内容（类似 tail -f）

echo "test log" >> /var/log/nginx/access.log

如果你只是查看旧文件，而没有新写入，Filebeat 默认不会重新采集。

二、开启调试，看 Filebeat 到底在干什么（强烈推荐）

方法 1：前台运行 + 调试日志

filebeat -e -d "*"

重点看有没有：

harvester started
No files found for paths
Permission denied

方法 2：开启 debug 日志

logging.level: debug
logging.to_files: true

日志位置：

/var/log/filebeat/

三、输入配置问题（非常常见）

1️⃣ input 没启用

enabled: true   # 必须是 true

2️⃣ type 写错

正确写法：

filebeat.inputs:
- type: log

❌ 错误示例：

- input_type: log   # 已废弃

3️⃣ 使用了 exclude 或 include 导致匹配不到

exclude_files: ['.gz$']
include_lines: ['ERROR']

✅ 调试建议：

先全部注释掉
看能否采集

四、文件权限问题（非常非常常见）

Filebeat 用户是否有权限？

ls -l /var/log/nginx/access.log

如果 Filebeat 以 filebeat 用户运行：

sudo -u filebeat cat /var/log/nginx/access.log

✅ 解决方案：

chmod 644 /var/log/nginx/*.log

或

chown filebeat:filebeat /var/log/nginx

五、registry 状态文件导致“只采集一次”

Filebeat 用 registry 记录采集位置：

/var/lib/filebeat/registry/

常见情况：

容器重启
文件被移动 / 删除
inode 变化

✅ 清空 registry（测试环境）：

systemctl stop filebeat
rm -rf /var/lib/filebeat/registry
systemctl start filebeat

⚠️ 生产环境慎用

六、输出配置问题（不是采集不到，而是“看起来没到”）

1️⃣ 输出是否正确？

output.elasticsearch:
  hosts: ["http://localhost:9200"]

或

output.logstash:
  hosts: ["localhost:5044"]

2️⃣ Elasticsearch / Logstash 是否可达？

curl http://localhost:9200

3️⃣ 有没有被 pipeline / 索引模板过滤？

Elasticsearch 侧：

索引是否存在？
是否有 ingest pipeline 丢弃数据？

七、容器 & Kubernetes 场景（单独一列）

1️⃣ 挂载路径不对

volumeMounts:
- mountPath: /var/log/nginx

✅ 宿主机路径是否一致？

2️⃣ 采集的是 stdout（容器日志）

容器日志在：

/var/log/pods/*

✅ 记得用：

paths:
  - /var/log/pods/*/*.log

八、快速自检清单（照着打勾）

✅ Filebeat 正在运行
✅ paths 有真实文件
✅ 文件有新内容
✅ enabled: true
✅ 权限正常
✅ registry 没卡死
✅ 输出地址可达
✅ 调试日志无报错

九、如果你愿意，我可以精准定位

你可以直接贴出：

filebeat.yml 的 filebeat.inputs 和 output 部分
日志路径示例
运行环境（物理机 / Docker / K8s）

我可以直接帮你指出是哪一行导致采集不到。