如何通过Filebeat分析CentOS应用日志

1. 安装Filebeat

在CentOS系统上安装Filebeat，推荐通过YUM仓库安装（自动处理依赖），步骤如下：

• 更新系统包：sudo yum update -y
• 添加Elastic官方YUM仓库：

  sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  sudo tee /etc/yum.repos.d/elasticsearch.repo <<EOF
  [elasticsearch-7.x]
  name=Elasticsearch repository for 7.x packages
  baseurl=https://artifacts.elastic.co/packages/7.x/yum
  gpgcheck=1
  gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  enabled=1
  autorefresh=1
  type=rpm-md
  EOF
  

• 安装Filebeat：sudo yum install filebeat -y

若需手动安装，可下载RPM包后通过rpm -ivh filebeat-*.rpm命令安装。

2. 配置Filebeat

Filebeat的核心配置文件位于/etc/filebeat/filebeat.yml，需重点配置输入源、输出目标及处理器：

• 定义输入源：通过filebeat.inputs配置监控的日志文件路径。例如，监控/var/log/myapp/*.log（应用日志目录）：

  filebeat.inputs:
  - type: log  # 输入类型为日志
    enabled: true
    paths:
      - /var/log/myapp/*.log  # 监控所有.log后缀文件
    exclude_files: ['\.gz$']  # 排除.gz压缩文件
  

• 配置输出目标：将日志发送至Elasticsearch（需提前安装并运行）：

  output.elasticsearch:
    hosts: ["localhost:9200"]  # Elasticsearch地址
    index: "myapp-logs-%{+yyyy.MM.dd}"  # 动态生成日期索引（如myapp-logs-2025.09.24）
  

• 可选：添加处理器解析日志：若日志为结构化格式（如timestamp level message），可使用dissect处理器提取字段：

  filebeat.inputs:
  - type: log
    paths:
      - /var/log/myapp/*.log
    processors:
    - dissect:
        tokenizer: "%{timestamp} %{level} %{message}"  # 日志格式模板
        field: "message"  # 从message字段提取
        target_prefix: ""  # 直接添加到事件根字段
  

  完整配置示例可参考Filebeat官方文档。

3. 启动与验证Filebeat

• 启动服务：sudo systemctl start filebeat
• 设置开机自启：sudo systemctl enable filebeat
• 检查运行状态：sudo systemctl status filebeat（若显示“active (running)”则表示正常）
• 查看日志：sudo tail -f /var/log/filebeat/filebeat.log（确认是否成功读取应用日志并发送至Elasticsearch）。

4. 使用Kibana可视化分析

• 安装Kibana：若未安装，可通过YUM或下载tar包安装，配置kibana.yml连接Elasticsearch：

  server.host: "localhost"
  elasticsearch.hosts: ["http://localhost:9200"]
  

• 启动Kibana：sudo systemctl start kibana，通过浏览器访问http://localhost:5601。
• 创建索引模式：进入Kibana“Management”→“Index Patterns”，点击“Create index pattern”，输入myapp-logs-*（与Filebeat输出的索引名称匹配），选择时间字段（如@timestamp）。
• 查看日志：进入“Discover”页面，选择刚创建的索引模式，即可通过Kibana的查询语法（如level:ERROR）筛选、分析应用日志（如错误日志统计、时间趋势分析）。

5. 高级优化建议

• 使用filestream输入类型：Filebeat 7.0及以上版本推荐使用filestream替代log，提升大文件处理效率和资源占用：

  filebeat.inputs:
  - type: filestream
    enabled: true
    paths:
      - /var/log/myapp/*.log
  

• 性能调优：调整bulk_max_size（批量发送大小，默认50MB）提高传输效率；设置scan_frequency（文件扫描间隔，默认10s）平衡实时性与性能。
• 监控Filebeat：通过Elastic Stack的监控功能（如Kibana的“Stack Monitoring”）查看Filebeat的日志处理速度、延迟等指标，及时发现瓶颈。