CentOS如何通过FileBeat进行日志分析

在 CentOS 上使用 Filebeat 进行日志分析

一架构与准备

组件分工：在 CentOS 上用 Filebeat 采集日志，发送到 Elasticsearch 存储与检索，使用 Kibana 进行可视化分析。
版本兼容：确保 Filebeat、Elasticsearch、Kibana 版本一致或兼容（示例使用 7.14）。
网络与端口：开放 Elasticsearch 9200、Kibana 5601，并确认 SELinux/防火墙 策略允许通信。

二安装 Filebeat

使用 YUM 安装（推荐）：
- 导入 GPG 并添加仓库：
  - sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  - sudo tee /etc/yum.repos.d/elasticsearch.repo <<EOF [elasticsearch-7.x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md EOF
- 安装：sudo yum install -y filebeat
或使用 RPM 包安装：
- wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.14.0-x86_64.rpm
- sudo rpm -ivh filebeat-7.14.0-x86_64.rpm
验证：filebeat version

三配置采集与输出

编辑主配置：sudo vi /etc/filebeat/filebeat.yml
示例一直接输出到 Elasticsearch（采集系统日志）
- filebeat.inputs:
  - type: log enabled: true paths:
    - /var/log/*.log
    - /var/log/messages fields: type: systemlog log_topic: systemlog fields_under_root: true exclude_lines: [“^DBG”] exclude_files: [“.gz$”]
- output.elasticsearch:
  - hosts: [“elasticsearch-host:9200”]
  - index: “system-logs-%{+yyyy.MM.dd}”
示例二使用 Filebeat 模块（以 Nginx 为例）
- filebeat.modules:
  - module: nginx access: var.paths: [“/var/log/nginx/access.log*”] error: var.paths: [“/var/log/nginx/error.log*”]
- output.elasticsearch:
  - hosts: [“elasticsearch-host:9200”]
  - index: “filebeat-nginx-%{+yyyy.MM.dd}”
说明：
- 多行日志（如堆栈）可在对应模块或 inputs 下配置 multiline 参数以合并多行事件。
- 如需输出到 Logstash，将 output.elasticsearch 替换为 output.logstash 并配置 hosts（示例：[“logstash-host:5044”]）。

四启动与验证

启动与开机自启：
- sudo systemctl start filebeat
- sudo systemctl enable filebeat
运行状态与日志：
- sudo systemctl status filebeat
- sudo journalctl -u filebeat -f
- sudo tail -f /var/log/filebeat/filebeat.log
检查 Elasticsearch 索引：
- curl -X GET “localhost:9200/_cat/indices?v” | grep filebeat
Kibana 可视化：
- 访问 http://:5601
- 在 Management → Index Patterns 创建索引模式（如 filebeat-* 或 system-logs-*）
- 在 Discover 中检索与可视化日志。

五生产常用优化

按应用拆分索引：在 inputs 中使用 fields.index，在 output.elasticsearch 中用 indices.when.equals 将不同应用写入不同索引（如 nginx、tomcat），便于权限与容量管理。
多行与编码处理：为 Java/Python 堆栈等配置 multiline；对 GBK/UTF-8 等日志设置 encoding，避免乱码。
安全传输：为 Elasticsearch/Logstash 启用 TLS/SSL 与认证（在 output.elasticsearch 中配置 ssl.* 与 username/password）。
资源与性能：合理设置 scan_frequency、close_older、max_bytes、spool_size、idle_timeout，平衡延迟与吞吐。
处理器增强：使用 dissect/grok/drop_fields 做字段解析与清理，减少存储与提升检索效率。

最新问答