filebeat在debian如何限流

在 Debian 上限制 Filebeat 的流量（限流）通常可以从 Filebeat 自身配置、系统层（tc / iptables） 或 代理/sidecar 几个层面来做。下面按最常用、最推荐的方式说明。

一、Filebeat 自身限流（推荐）

1. 限制发送速率（publisher 限流）

Filebeat 7.x+ 支持 harvester 和 publisher 的限流。

限制每秒事件数

output.elasticsearch:
  hosts: ["http://es:9200"]

queue.mem:
  events: 4096
  flush.min_events: 2048
  flush.timeout: 1s

# 限流（每秒事件数）
filebeat.registry.flush: 5s

processors:
  - throttle:
      period: 1s
      max_count: 100   # 每秒最多 100 条

✅ 适合：控制日志条数 ❌ 不适合：精确控制带宽

2. 限制单个文件读取速度（harvester）

filebeat.inputs:
- type: log
  paths:
    - /var/log/*.log
  harvester_buffer_size: 16384
  scan_frequency: 10s

降低 scan_frequency 可减小瞬时压力

二、限制网络带宽（Debian 系统层）

方案 1：使用 tc（推荐，不影响其他程序）

安装

sudo apt install iproute2

限制 Filebeat 出口带宽（例如 1 Mbps）

假设 Filebeat 发往 10.0.0.10:9200

# 限制出口
sudo tc qdisc add dev eth0 root tbf \
  rate 1mbit \
  burst 32kbit \
  latency 50ms

✅ 精确控制带宽
❌ 影响该网卡所有流量（可配合 iptables + tc 分类）

方案 2：使用 wonderShaper（简单）

sudo apt install wondershaper
sudo wondershaper eth0 1024 1024

上行 / 下行 1 Mbps

三、使用代理限流（最干净）

Filebeat → Nginx / Envoy → ES

Nginx 限速示例

limit_rate 200k;

或：

location / {
    proxy_pass http://elasticsearch:9200;
    limit_except POST { deny all; }
}

四、Debian + systemd 限制（CPU / IO）

sudo systemctl edit filebeat

[Service]
CPUQuota=20%
IOBandwidthMax=/var/log 1M

五、推荐组合方案 ✅

六、示例：Filebeat 1 Mbps 限流完整方案

sudo tc qdisc add dev eth0 root tbf rate 1mbit burst 32kbit latency 50ms

filebeat.inputs:
- type: log
  paths:
    - /var/log/app/*.log
  scan_frequency: 10s

queue.mem:
  events: 2048

如果你能告诉我：

• Filebeat 版本
• 输出目标（ES / Logstash / Kafka）
• 是否需要精确 Mbps

我可以给你一份可直接用的配置。