如何配置Filebeat安全地传输日志

配置 Filebeat 安全传输日志

一安全原则与总体架构

启用传输加密：优先使用 TLS 1.2+ 对客户端与服务端之间的通信进行加密，避免明文传输。
强身份认证：对服务端进行 CA 证书校验，必要时启用 双向 TLS（mTLS）；对 Elasticsearch 输出同时配置 用户名/密码或 API Key。
最小权限：为 Filebeat 创建 最小权限角色（仅允许写入目标索引、创建/写入 ILM 等必要操作）。
机密保护：证书、密钥、凭据使用 文件权限 0600，并通过 Vault/KMS/环境变量 管理，避免硬编码。
网络与系统加固：仅开放必要端口（如 5044/9200），配合 防火墙/安全组 与 主机加固。

二证书与密钥准备

推荐自建 私有 CA，为服务端签发证书，并为需要双向认证的客户端签发客户端证书。

示例（OpenSSL，生成 CA 与服务器/客户端证书）：

# 1) 生成 CA
openssl req -x509 -newkey rsa:2048 -keyout ca.key -out ca.crt -days 3650 -nodes -subj "/CN=MyRootCA"

# 2) 生成服务器证书（供 ES 或 Logstash 使用）
openssl req -newkey rsa:2048 -keyout server.key -out server.csr -nodes -subj "/CN=es.example.com"
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt -days 365

# 3) 生成客户端证书（供 Filebeat 使用，可选 mTLS）
openssl req -newkey rsa:2048 -keyout client.key -out client.csr -nodes -subj "/CN=filebeat-client"
openssl x509 -req -in client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out client.crt -days 365

# 4) 校验
openssl x509 -in server.crt -noout -text

将证书与密钥分发到目标主机，建议目录：/etc/filebeat/certs/，权限 0600，属主 root:filebeat。

三配置 Filebeat 输出加密

直连 Elasticsearch（HTTPS + 基本认证 + 证书校验）

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
  hosts: ["https://es.example.com:9200"]
  username: "filebeat_writer"
  password: "${FILEBEAT_PWD}"   # 推荐从环境变量读取
  ssl.enabled: true
  ssl.verification_mode: certificate
  ssl.certificate_authorities: ["/etc/filebeat/certs/ca.crt"]
  # 如需 mTLS，取消下行注释
  # ssl.certificate: "/etc/filebeat/certs/client.crt"
  # ssl.key:         "/etc/filebeat/certs/client.key"

经由 Logstash（Beats 输入启用 TLS）

# filebeat.yml
output.logstash:
  hosts: ["logstash.example.com:5044"]
  ssl.enabled: true
  ssl.verification_mode: certificate
  ssl.certificate_authorities: ["/etc/filebeat/certs/ca.crt"]
  # 如需 mTLS，取消下行注释
  # ssl.certificate: "/etc/filebeat/certs/client.crt"
  # ssl.key:         "/etc/filebeat/certs/client.key"

# logstash.conf 片段（input）
input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/etc/pki/tls/certs/server.crt"
    ssl_key         => "/etc/pki/tls/certs/server.key"
    ssl_ca          => "/etc/pki/tls/certs/ca.crt"
    ssl_verify_mode => "force_peer"   # 强制校验证书
  }
}

关键参数说明
- ssl.verification_mode：建议设为 certificate（校验证书链）；不建议 none（禁用校验，仅测试用）。
- ssl.certificate_authorities：指定 CA 证书路径，用于验证服务端。
- ssl.certificate / ssl.key：启用 mTLS 时配置客户端证书与私钥。

四服务端与安全策略配置

Elasticsearch 启用安全与 TLS（示例）

# elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/certs/elastic-certificates.p12

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.certificate: /etc/elasticsearch/certs/server.crt
xpack.security.http.ssl.key:         /etc/elasticsearch/certs/server.key

说明：上述启用 HTTP 层 TLS 后，Filebeat 必须使用 https:// 与 证书校验 才能连接。

网络与系统加固
- 防火墙仅放行 9200（ES）/5044（Logstash） 等必要端口，限制来源网段。
- 文件与目录权限：证书与密钥 0600，配置 0640，属主 root:filebeat。
- 凭据管理：使用 环境变量/密钥管理服务（如 Vault） 注入密码或 API Key，避免明文。

五启动、验证与运维

启动与开机自启
```
systemctl enable --now filebeat
```

验证连接与证书

# 查看 Filebeat 日志
journalctl -u filebeat -f

# 如启用 Logstash，查看 Logstash 日志
journalctl -u logstash -f

# 可选：用 curl 验证 ES HTTPS 可达与证书
curl -vk https://es.example.com:9200

常见问题与要点
- 出现证书不受信任：确认 ca.crt 已正确配置且链路完整（中间 CA 需一并信任）。
- 出现 “certificate verify failed”：将 ssl.verification_mode 从 none 改为 certificate，并提供 CA。
- 性能与稳定性：合理设置 bulk_max_size、worker、queue 等参数，避免丢数。
- 合规与轮换：证书建议 ≤ 365 天，建立 轮换与吊销 流程，并保留 审计日志。

最新问答

相关标签