ubuntu filebeat怎样限制资源使用

在 Ubuntu 上运行 Filebeat 时，如果你希望限制其 CPU、内存、I/O 等资源使用，可以从 系统级（systemd / cgroup） 和 Filebeat 自身配置 两个层面来做。下面按常用方式说明。

一、通过 systemd 限制资源（推荐）

Ubuntu 上 Filebeat 通常以 systemd 服务运行（filebeat.service）。

1. 查看服务名

systemctl status filebeat

2. 创建 systemd 资源限制配置

sudo mkdir -p /etc/systemd/system/filebeat.service.d
sudo nano /etc/systemd/system/filebeat.service.d/limits.conf

示例内容（按需修改）：

[Service]
# CPU 限制（相当于 50% 单核）
CPUQuota=50%

# 内存限制
MemoryLimit=512M
MemoryMax=512M

# IO 限制（写带宽，示例 10MB/s）
IOWriteBandwidthMax=/ 10M

# 进程优先级
Nice=10

3. 重新加载并重启

sudo systemctl daemon-reload
sudo systemctl restart filebeat

4. 验证

systemctl show filebeat -p CPUQuotaPerSecUSec
systemctl show filebeat -p MemoryLimit

二、限制 Filebeat 自身行为（减少资源消耗）

1. 限制采集速率（spool / 批处理）

/etc/filebeat/filebeat.yml

queue.mem:
  events: 2048        # 队列事件数
  flush.min_events: 512
  flush.timeout: 5s

output.elasticsearch:
  bulk_max_size: 512   # 每次发送事件数

2. 限制文件扫描频率

filebeat.inputs:
- type: log
  scan_frequency: 10s   # 默认 10s，可调大
  harvester_buffer_size: 128KiB

3. 限制 harvester 数量（重要）

filebeat.registry:
  clean_inactive: 72h

max_procs: 2   # 限制 Go 运行时使用的 CPU 核心数

max_procs 可显著限制 CPU 使用

4. 忽略大文件或不需要的日志

exclude_files: ['.gz$', '.zip$']
ignore_older: 24h

三、使用 cgroup（不依赖 systemd）

如果你不是用 systemd，可以手动加 cgroup：

cgcreate -g cpu,memory:/filebeat
cgset -r cpu.cfs_quota_us=50000 filebeat
cgset -r memory.limit_in_bytes=536870912 filebeat
cgexec -g cpu,memory:/filebeat /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml

四、监控资源使用

top -p $(pgrep filebeat)
systemd-cgtop