在 Debian 上使用 Filebeat 进行网络监控的正确做法
一 核心概念与方案选择
- Filebeat 是轻量级日志收集器，擅长采集文件型日志（如 /var/log/ 下的系统、应用、审计日志），并不直接嗅探网络数据包。若目标是“网络流量/会话/协议”层面的可观测性，应使用 Packetbeat（同属 Elastic Beats 家族）进行网络抓包与解析，再由 Filebeat 或直连 Elasticsearch 输出。若目标是“网络相关日志”（如系统日志中的网络事件、iptables/nftables 日志、Nginx 访问日志等），则使用 Filebeat 采集这些日志文件即可。
二 方案一 采集网络相关日志（Filebeat 即可）
- 适用场景：系统日志中的网络事件、连接日志、防火墙日志、Web 访问日志等。
- 安装 Filebeat
- 导入 Elastic GPG 并添加仓库（以 8.x 为例，按需替换为你的版本）：
- wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor | sudo tee /usr/share/keyrings/elastic-keyring.gpg >/dev/null
- echo “deb [signed-by=/usr/share/keyrings/elastic-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main” | sudo tee /etc/apt/sources.list.d/elastic-8.x.list >/dev/null
- sudo apt update && sudo apt install filebeat -y
- 配置采集路径（示例）
- 编辑 /etc/filebeat/filebeat.yml：
- filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/syslog
- /var/log/messages
- /var/log/kern.log
- /var/log/nginx/*.log
- output.elasticsearch:
- hosts: [“localhost:9200”]
- 可选：启用模块（如 system、nginx）以自动解析常见日志格式
- sudo filebeat modules enable system nginx
- sudo filebeat setup --modules system,nginx
- 启动与验证
- sudo systemctl enable --now filebeat
- sudo systemctl status filebeat
- journalctl -u filebeat -f
- 在 Kibana 的 Discover 中查看对应索引（如 filebeat-* 或 module 前缀索引）。
三 方案二 采集网络流量与协议（Packetbeat）
- 适用场景：需要抓取并解析 TCP/UDP/HTTP/TLS/DNS 等协议流量，做会话、时延、错误、Top N 等分析。
- 安装与启用
- sudo apt update && sudo apt install packetbeat -y
- 配置抓包与协议（编辑 /etc/packetbeat/packetbeat.yml）
- packetbeat.interfaces.device: “eth0” # 替换为你的网卡名
- packetbeat.protocols:
- type: http
ports: [80, 8080, 8000]
- type: tls
ports: [443, 8443]
- type: dns
- type: icmp
- output.elasticsearch:
- hosts: [“localhost:9200”]
- 启动与验证
- sudo systemctl enable --now packetbeat
- sudo systemctl status packetbeat
- journalctl -u packetbeat -f
- 在 Kibana 的 Discover 选择 packetbeat-* 索引查看网络流量事件。
四 防火墙与权限要点
- 如果使用 iptables/nftables 生成日志，请将日志写入系统日志（如 /var/log/kern.log 或 /var/log/messages），再由 Filebeat 采集；并确保日志轮转（如 logrotate）与磁盘空间充足。
- 抓包通常需要 root 或 CAP_NET_RAW 能力：
- 建议以 systemd 服务运行（Packetbeat 默认以特权服务运行），或按需配置能力：
- sudo setcap cap_net_raw+eip /usr/bin/packetbeat
- 在云主机或受限环境中，确保实例具备 VPC 抓包/镜像 能力，否则只能采集本机回环或经由本机的流量。
- 若启用了 SELinux/AppArmor，放行 Filebeat/Packetbeat 对相关日志文件与网络接口的访问。
五 常见问题与排查
- 看不到网络流量数据：确认网卡名配置正确、目标主机确有流量、以及防火墙/安全组未拦截；Packetbeat 抓不到包时优先检查接口与权限。
- 日志格式解析失败：启用对应 Filebeat 模块 并检查日志路径；必要时使用 processors（如 dissect、grok、decode_json_fields）做字段提取。
- 版本兼容：确保 Elasticsearch/Kibana/Beats 主版本一致（如均为 8.x 或均为 7.x），避免索引模板/映射不兼容。
- 资源占用：Packetbeat 抓包与协议解析会占用一定 CPU/内存，在高带宽环境建议分环境部署或采样。
