ubuntu filebeat如何进行网络配置

Ubuntu 上 Filebeat 的网络配置指南

一 配置文件位置与结构

• 主配置文件为：/etc/filebeat/filebeat.yml。核心网络相关段落包括：
  • filebeat.inputs：定义采集源（如文件路径、类型等）。
  • output.elasticsearch / output.logstash：定义输出目标（地址、端口、认证、TLS 等）。
  • processors：可在发送前补充元数据（如 add_host_metadata、add_cloud_metadata）。
• 模块与目录结构：启用模块时，相关配置位于 /etc/filebeat/modules.d/，主配置通过 filebeat.config.modules 加载这些模块。以上路径与结构适用于 Ubuntu 上的常见安装方式。

二 常见网络场景与示例配置

• 直连 Elasticsearch（HTTP）
  • 适用于本机或同网段可达的 ES；示例：

    output.elasticsearch:
      hosts: ["http://192.168.10.10:9200"]
      index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"
    

  • 如启用安全特性，补充用户名与密码：

    output.elasticsearch:
      hosts: ["http://es.example.com:9200"]
      username: "elastic"
      password: "YourPassword"
      index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"
    

• 输出到 Logstash（Beats 协议）
  • 默认端口 5044；示例：

    output.logstash:
      hosts: ["logstash.example.com:5044"]
    

• 启用 TLS 加密（HTTPS 或 Logstash over TLS）
  • 直连 ES 的 TLS 示例：

    output.elasticsearch:
      hosts: ["https://es.example.com:9200"]
      ssl.verification_mode: certificate
      ssl.certificate_authorities: ["/etc/filebeat/certs/ca.crt"]
      # 如服务端要求客户端证书
      ssl.certificate: "/etc/filebeat/certs/client.crt"
      ssl.key: "/etc/filebeat/certs/client.key"
    

  • 证书可用 OpenSSL 生成并分发给 ES 与 Filebeat（生产环境请妥善管理私钥与权限）。

三 连通性与认证验证

• 配置语法与连通性自检
  • 语法检查与输出连通性测试：

    sudo filebeat test config -e
    sudo filebeat test output
    

  • 服务日志与实时查看：

    sudo systemctl status filebeat
    sudo journalctl -u filebeat -f
    

• 网络连通性排查
  • 直连 ES：

    curl -v http://es.example.com:9200
    

  • 连接 Logstash（Beats 端口）：

    telnet logstash.example.com 5044
    # 或使用 nc
    nc -vz logstash.example.com 5044
    

  • 若连接失败，优先检查目标主机、端口、协议（http/https）、防火墙策略与证书路径是否正确。

四 防火墙与系统网络要点

• 放行必要端口
  • 放行 Logstash（默认 5044/TCP）：

    sudo ufw allow 5044/tcp
    sudo ufw reload
    

  • 放行 Elasticsearch（默认 9200/TCP；如启用安全端口 9300/TCP 也需放行）：

    sudo ufw allow 9200/tcp
    sudo ufw reload
    

• 主机名与 DNS
  • 确保 hosts 中使用的主机名可被解析（/etc/hosts 或 DNS 均可），否则会报连接超时。
• 证书与权限
  • TLS 证书文件需对 filebeat 运行用户可读，路径与权限设置不当会导致握手失败。

五 排错清单

• 配置文件缩进或语法错误导致启动失败：使用 filebeat test config -e 精确定位；YAML 对缩进与冒号后空格敏感。
• 输出目标地址或端口错误：核对 hosts 与端口（如 5044、9200），必要时用 telnet/nc 验证连通性。
• 认证或 TLS 配置不当：核对 username/password、ssl.verification_mode、ca/cert/key 路径与内容；证书不匹配会握手失败。
• 服务未启动或异常退出：查看 sudo journalctl -u filebeat -f 获取上下文与堆栈信息，结合 filebeat test output 逐项排查。