可行性与总体方案
在 Ubuntu 上的 Filebeat 支持通过编写 Go 语言插件来扩展输出能力。常见做法有两类：
- 使用 Go 插件（.so） 动态库，在运行时由 Filebeat 通过 plugin 指令加载（需要 Go 1.16+，且插件与 Filebeat 版本、操作系统、架构严格匹配）。
- 将自定义输出作为模块直接 嵌入编译进 Filebeat 二进制（推荐，更稳健，便于分发与维护）。社区已有基于该方式实现的 ClickHouse 原生 TCP 输出 等实战案例。
两种实现方式对比
| 方案 |
集成方式 |
构建与发布 |
版本兼容与维护 |
适用场景 |
| Go 插件（.so 动态库） |
运行时加载，配置中启用 plugin |
需与 Filebeat 同环境编译 .so，分发 .so 文件 |
强绑定 Filebeat/Go/OS/架构版本，升级需重编译 |
快速验证、内部受限环境 |
| 嵌入编译（自定义模块） |
作为 beats 源码一部分编译进二进制 |
统一构建、单二进制发布 |
版本可控、易于长期维护 |
生产环境、对外发布 |
实现步骤简述
- 插件接口与注册
- 在自定义输出中引入 libbeat/outputs，实现核心接口：如 Connect/Publish/Close，以及批量相关的 PublishBatch/Retry 等；在 init() 中调用 outputs.RegisterType(“your_name”, constructor) 完成注册。
- 配置与校验
- 定义 Config 结构体，使用 config:“xxx” validate:“…” 标签描述与校验参数（如 hosts、batch_size、retry_limit 等）。
- 客户端与重试
- 封装连接池/重试/退避（如指数退避与最大重试次数），在失败时记录样本便于排查。
- 构建与启用
- 插件方式：在插件目录执行 go build -buildmode=plugin -o your_output.so；在 filebeat.yml 中启用插件并指向 .so（示例：output.your_output + plugin: your_output.so）。
- 嵌入方式：将输出目录放入 beats/libbeat/output/，在 libbeat/outputs/registry.go 中注册，使用 mage 或 Make 构建整个 Filebeat 二进制，然后在 filebeat.yml 中使用 output.your_output 配置项启用。
配置与验证示例
- 插件方式（.so）
- 配置示例：
- filebeat.yml
- output.your_output:
- workers: 1
- batch_size: 100
- retry_limit: 3
- plugin: ./your_output.so
- 验证：
- 语法与加载：sudo filebeat test config -c /etc/filebeat/filebeat.yml
- 前台运行查看日志：sudo filebeat -e -c /etc/filebeat/filebeat.yml
- 嵌入方式（编译进二进制）
- 配置示例：
- filebeat.yml
- output.your_output:
- hosts: [“your-target:9000”]
- database: “logs”
- table: “events”
- batch_size: 5000
- 验证：同上，重点观察启动日志与目标端是否收到批量数据。
常见注意事项
- 版本与平台强绑定：.so 插件必须与 Filebeat 的版本、Go 版本、操作系统与 CPU 架构一致；跨平台/跨版本不可复用。
- 稳定性优先：生产环境更推荐 嵌入编译 的方式，避免动态库加载带来的不确定性；插件方式适合验证或受控环境。
- 批量与重试：实现 批量写入、超时、指数退避与样本日志，可显著提升可靠性与吞吐。
- 调试技巧：使用 filebeat test config 与 filebeat -e 快速定位插件加载与运行时错误；必要时增加事件内容日志与连接状态日志。
