Filebeat在CentOS上部署有哪些注意事项

在 CentOS 上部署 Filebeat 的关键注意事项

一 版本兼容与系统准备

• 保持组件版本一致：确保 Filebeat 与 Elasticsearch/Kibana/Logstash 主版本一致（如均为 7.x 或 8.x），避免协议与模板不兼容。
• 系统基线：建议使用 CentOS 7+，并预留资源（如 CPU≥2 核、内存≥4GB、可用磁盘≥50GB），保证采集与网络吞吐。
• 安全基线：生产环境不建议直接关闭 SELinux 或 firewalld，应通过策略放行必要端口与路径访问。
• 安装方式：优先使用 RPM/YUM 官方仓库安装，便于依赖与升级管理；导入 GPG-KEY-elasticsearch 验证包完整性。

二 安装与最小配置

• 仓库与安装：导入 GPG 后添加 Elastic 官方 YUM 源，执行 sudo yum install filebeat -y。
• 核心配置要点：编辑 /etc/filebeat/filebeat.yml，至少明确 filebeat.inputs.paths（如 /var/log/*.log）与 output（Elasticsearch 或 Logstash）。
• 输出到 Logstash 示例：

  filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /var/log/*.log
  output.logstash:
    hosts: ["192.168.1.8:5044"]
  

• 启动与自启：sudo systemctl daemon-reload && sudo systemctl enable --now filebeat。

三 网络、端口与权限

• 防火墙放行：按需开放端口（如到 Elasticsearch 9200、到 Logstash 5044）。示例：
  sudo firewall-cmd --permanent --add-port=5044/tcp && sudo firewall-cmd --reload。
• SELinux 策略：避免 setenforce 0 长期关闭，使用 semanage fcontext/restorecon 或布尔值放行 Filebeat 对日志文件与套接字的读取。
• 最小权限运行：生产建议创建 filebeat 专用用户与组，服务以非 root 运行，并仅授予对目标日志目录的只读权限。
• 文件与目录：确保采集路径存在且 Filebeat 可读；被轮转的日志（如 logrotate）保留原 inode 直至采集确认，避免漏采。

四 安全加固

• 加密传输：对到 Elasticsearch/Logstash 的通信启用 TLS/SSL，正确配置 ssl.certificate、ssl.key 与 ssl.certificate_authorities。
• 认证与凭据：若启用安全特性，配置 username/password 或使用 API Key/证书；凭据应纳入 Vault/KMS 管理，避免明文落地。
• 自签名证书：测试环境可临时设置 ssl.verification_mode: none，生产必须启用证书校验。
• 最小暴露面：仅开放必要端口与接口，限制来源网段，禁用未使用输出插件。

五 运行维护与性能优化

• 服务与日志：使用 systemctl status filebeat、journalctl -u filebeat -f 与 /var/log/filebeat/filebeat 进行运行态观测与排错。
• 配置校验：变更前执行 filebeat test config -c /etc/filebeat/filebeat.yml；上线前用 filebeat test output 验证输出连通性。
• 模块与处理：按需启用 modules.d/*.yml 并使用 processors（如 dissect/grok/add_fields）做结构化解析，减轻后端压力。
• 性能与缓冲：结合负载调整 queue.spool.size、max_concurrent_files 与网络缓冲，避免高峰丢数或阻塞。
• 索引与模板：通过 setup.template.name/pattern/settings 管理索引模板（如分片数与压缩），统一索引生命周期策略。
• 监控与升级：开启 xpack.monitoring.collection.enabled: true 观察吞吐/延迟/错误；定期 更新 Filebeat 获取安全修复与性能改进。