Filebeat日志传输至Elasticsearch方法

要将Filebeat的日志传输至Elasticsearch，可以按照以下步骤进行设置：

准备工作

1. 安装Elasticsearch：确保Elasticsearch已经安装并运行在你的服务器上。你可以从Elastic官网下载适合你操作系统的Elasticsearch安装包，并按照官方文档的说明进行安装。
2. 安装Filebeat：下载并安装Filebeat。你可以从Elastic官网下载适合你操作系统的Filebeat安装包，并按照官方文档的说明进行安装。

配置Filebeat

1. 编辑Filebeat配置文件：Filebeat的配置文件通常位于 /etc/filebeat/filebeat.yml。在这个文件中，你需要指定要监视的日志文件路径、Elasticsearch的地址和端口、索引名称等。

   • 指定日志文件路径：在 filebeat.inputs 部分，使用 paths 参数指定要监视的日志文件路径。
   • 配置Elasticsearch输出：在 output.elasticsearch 部分，指定Elasticsearch的地址和端口。例如：

   output.elasticsearch:
       hosts: ["localhost:9200"]
       index: "myindex-%{yyyy.MM.dd}"
   

   这里，index 参数指定了日志数据写入Elasticsearch时的索引名称，%{yyyy.MM.dd} 是一个占位符，表示当前日期。

2. 启用JSON日志处理（如果日志是JSON格式）：如果日志是JSON格式，你可以在 filebeat.inputs 部分添加 json 配置，以便更好地解析日志数据。例如：

   json:
       keys_under_root: true
       overwrite_keys: true
       add_error_key: true
   

   这些配置会将日志数据作为JSON对象处理，并将 log 字段作为顶级字段。

启动Filebeat

完成配置后，保存 filebeat.yml 文件，然后启动Filebeat以开始发送数据到Elasticsearch。你可以使用以下命令启动Filebeat：

sudo systemctl start filebeat

验证数据传输

你可以通过Kibana或Elasticsearch的REST API来验证数据是否成功发送到Elasticsearch。在Kibana中，你可以创建可视化和仪表板来查看Filebeat发送的日志数据。

其他配置选项

• 索引生命周期管理（ILM）：你可以通过 setup.ilm.enabled 参数启用或禁用ILM。默认情况下，Filebeat会为每天的日志数据创建一个新的索引。
• 安全性：如果需要，你可以在 output.elasticsearch 部分添加 username 和 password 参数，以启用Elasticsearch的基本认证。

通过以上步骤，你可以将Filebeat配置为将日志数据传输至Elasticsearch，并使用Kibana进行日志的分析和可视化。