Filebeat如何忽略旧日志

在 Filebeat 中，如果需要忽略已经存在的“旧日志”（即 Filebeat 首次启动时不采集历史日志），可以通过设置 ignore_older 来实现。

下面按常见场景说明。

一、最常用方式：ignore_older

1️⃣ 作用

• 忽略修改时间超过指定时长的日志文件
• 常用于：
  • 首次部署 Filebeat
  • 不希望采集历史日志
  • 只采集“新产生”的日志

2️⃣ 示例配置

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/app/*.log
    ignore_older: 1h

✅ 含义：

• 忽略 最后修改时间超过 1 小时 的日志文件
• Filebeat 不会采集这些旧文件
• 只采集新写入的日志

二、常见时间单位

s  → 秒
m  → 分钟
h  → 小时
d  → 天

例如：

ignore_older: 10m
ignore_older: 24h
ignore_older: 7d

三、与 scan_frequency 的区别（很重要）

✅ 不要混淆

• scan_frequency 不能用来忽略旧日志
• 忽略旧日志只能用 ignore_older

四、忽略“已经采集过的旧日志”（Registry 机制）

如果你之前已经运行过 Filebeat：

• Filebeat 会把采集进度保存在 registry 文件
• 即使你加了 ignore_older，已经记录过的文件仍可能被继续采集

✅ 解决办法

方法 1：清空 registry（最常用）

# 停止 Filebeat
systemctl stop filebeat

# 删除 registry（记录采集进度的数据）
rm -rf /var/lib/filebeat/registry

# 重新启动
systemctl start filebeat

⚠️ 注意：

• 会 重新采集所有未被 ignore_older 忽略的文件
• 生产环境慎用

五、忽略特定旧文件（路径级别）

如果你只想忽略某些目录或文件：

filebeat.inputs:
  - type: log
    paths:
      - /var/log/app/current/*.log

或者排除历史文件：

exclude_files:
  - \.gz$
  - old-

六、典型推荐配置（首次部署）

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/app/*.log
    ignore_older: 1h

scan_frequency: 10s

✅ 效果：

• 忽略 1 小时前的旧日志
• 只采集实时新增日志

七、总结一句话 ✅

Filebeat 忽略旧日志的核心方式是 ignore_older，必要时配合清空 registry。

如果你愿意，可以告诉我：

• 日志路径
• 是否首次部署
• 是否容器 / Kubernetes

我可以帮你给出一份可直接使用的完整 filebeat.yml。