Filebeat在Ubuntu上的插件开发指南

一、开发前准备

1. 系统与环境要求

基础环境：Ubuntu 20.04及以上版本（推荐），确保系统已安装build-essential（编译工具链）、git（代码管理）、golang（Go语言环境，版本需匹配Filebeat要求，如1.16+）。
安装命令：
```
sudo apt update && sudo apt install -y build-essential git golang
```
Filebeat源码：从Elastic官方GitHub仓库克隆Filebeat源码（建议选择稳定分支，如8.x），用于自定义插件开发。
克隆命令：
```
git clone https://github.com/elastic/beats.git ~/filebeat
cd ~/filebeat
```

2. Go环境配置

设置Go模块代理（加速依赖下载）：

go env -w GOPROXY=https://goproxy.cn,direct

验证Go版本：
```
go version
```

二、插件类型选择

Filebeat插件主要分为两类，根据需求选择：

处理器（Processor）：在日志事件发送至输出（如Elasticsearch）前进行处理，例如日志过滤、字段提取、数据采样等。适用于修改事件内容的场景。
输出（Output）：定义日志发送的目标（如自定义数据库、消息队列），需实现Write方法处理事件传输。适用于扩展日志存储目标的场景。

三、处理器插件开发步骤（以Go语言为例）

1. 创建插件目录

进入Filebeat源码的libbeat/processors目录，创建自定义插件目录（如my_scale_processor）：

cd ~/filebeat/libbeat/processors
mkdir my_scale_processor
cd my_scale_processor

2. 编写插件代码

创建my_scale_processor.go文件，实现处理器逻辑。需满足两个核心方法：

init：注册插件名称（与配置文件中的processors名称对应）；
Run：处理每个日志事件（*beat.Event），返回处理后的事件或nil（丢弃事件）。

示例代码（实现10%比例采样的处理器）：

package my_scale_processor

import (
	"sync"

	"github.com/elastic/beats/v7/libbeat/beat"
	"github.com/elastic/beats/v7/libbeat/common"
	"github.com/elastic/beats/v7/libbeat/processors"
)

var (
	processorName = "my_scale_processor"
	instance      *myScaleProcessor
	lock          sync.Mutex
	logNum        uint = 1
	MaxNum        uint = 10 // 每10个事件保留1个
)

type myScaleProcessor struct {
	config processors.Config
}

// init注册插件
func init() {
	processors.RegisterPlugin(processorName, newMyScaleProcessor)
}

// newMyScaleProcessor创建处理器实例
func newMyScaleProcessor(_ *common.Config) (processors.Processor, error) {
	return &myScaleProcessor{}, nil
}

// Run处理单个事件
func (p *myScaleProcessor) Run(event *beat.Event) (*beat.Event, error) {
	lock.Lock()
	defer lock.Unlock()

	if logNum%MaxNum == 0 {
		logNum = 1
		return event, nil // 保留事件
	}
	logNum++
	return nil, nil // 丢弃事件
}

// String返回插件名称
func (p *myScaleProcessor) String() string {
	return processorName
}

3. 编译插件

在插件目录下执行编译命令，生成.so动态链接库文件（仅适用于Linux平台）：

go build -buildmode=plugin -o my_scale_processor.so

四、输出插件开发步骤（简要说明）

若需开发输出插件（如发送日志至自定义HTTP接口），需完成以下步骤：

创建目录：在libbeat/output目录下创建自定义输出目录（如my_http_output）。
实现接口：创建my_http_output.go文件，实现Output接口的Write方法（处理事件传输）和Close方法（关闭连接）。
注册插件：在init函数中调用outputs.RegisterPlugin注册插件名称。
编译与配置：编译为.so文件，添加至libbeat/output目录，并在filebeat.yml中配置output.my_http_output。

五、配置与测试插件

1. 配置Filebeat使用插件

编辑/etc/filebeat/filebeat.yml，在processors部分添加自定义插件配置：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/syslog # 监控的系统日志路径

processors:
  - my_scale_processor: # 插件名称（需与代码中的processorName一致）

output.elasticsearch:
  hosts: ["localhost:9200"] # 输出目标（可根据需求修改）

2. 测试配置有效性

使用Filebeat自带的配置测试工具，验证配置文件语法及插件加载是否正常：

sudo filebeat test config -c /etc/filebeat/filebeat.yml

3. 启动/重启Filebeat

启动Filebeat服务，使插件生效：

sudo systemctl restart filebeat

4. 验证插件功能

查看日志：通过journalctl -u filebeat -f查看Filebeat运行日志，确认插件是否加载成功（无报错）。
检查数据：若使用Elasticsearch作为输出，可通过Kibana查看索引中的数据，验证采样逻辑是否符合预期（如每10条日志保留1条）。

六、注意事项

平台兼容性：Go语言编译的插件（.so文件）与操作系统强绑定，需在Ubuntu环境下编译，避免跨平台使用。
版本一致性：确保Go语言版本与Filebeat版本兼容（参考Elastic官方文档的go.mod文件）。
调试技巧：若插件加载失败，可通过filebeat -e -c /etc/filebeat/filebeat.yml查看详细错误日志（-e参数输出到stderr）。
文档参考：Elastic官方提供了详细的插件开发文档（Custom Processors），建议结合官方示例进行开发。

通过以上步骤，即可在Ubuntu上完成Filebeat自定义插件的开发、配置与测试，满足特定的日志处理需求。

filebeat在ubuntu上的插件开发指南