CentOS下Filebeat配置文件详解

在CentOS下配置Filebeat主要涉及编辑filebeat.yml文件，该文件定义了Filebeat要监视的日志源、采集策略、日志过滤规则和目标输出等。以下是一个详细的Filebeat配置文件示例及其解释：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
  tags: ["java-logs"]
  fields:
    app_id: "query_engine_12"
    fields_under_root: true
  fields_under_root: true
  exclude_files: ['\.gz$']

output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "filebeat-%{yyyy.MM.dd}"

配置文件详解

• filebeat.inputs：定义了Filebeat要监视的日志源。

  • type: log：指定输入类型为日志。
  • enabled: true：启用输入。
  • paths：指定要监视的日志文件路径。
  • tags：为日志事件添加标签，便于后续处理。
  • fields：为事件添加自定义字段。
  • exclude_files：排除不需要监视的文件类型。

• output.elasticsearch：定义了Filebeat将日志数据发送到的Elasticsearch实例。

  • hosts：Elasticsearch实例的地址和端口。
  • index：指定日志数据的索引名称，可以使用占位符%{yyyy.MM.dd}动态生成日期格式的索引名。

其他常见配置选项

• 配置文件路径：默认情况下，Filebeat的配置文件位于/etc/filebeat/filebeat.yml。你可以根据需要更改此路径。
• 监控文件变化：Filebeat可以监视文件的变化并自动重新打开它们。你可以在配置文件中启用此功能，例如：

  filebeat.autodiscover:
    providers:
      - type: kubernetes
        nodes: {NODES}
        hints.enabled: true
        hints.default_config:
          type: container
          paths:
            - /var/lib/docker/containers/{data.kubernetes.container.id}/*.log
  

  上述配置使用Kubernetes提供程序自动发现容器日志文件，并监视它们的变化。

启动和检查Filebeat

配置完成后，你可以启动Filebeat服务并检查其状态以确保它正在运行：

sudo systemctl start filebeat
sudo systemctl status filebeat

要测试配置文件是否正确，可以使用以下命令：

./filebeat -e -c /etc/filebeat/filebeat.yml

这将以前台模式运行Filebeat并测试配置文件。

以上信息提供了在CentOS下配置Filebeat的基本框架和详细说明，根据具体需求，你可能需要进一步调整和优化配置。建议查阅Filebeat官方文档以获取更详细的配置信息和高级用法。