Filebeat日志收集Ubuntu上怎么设置

在 Ubuntu 上配置 Filebeat 收集日志

一安装与准备

更新索引并导入 Elastic GPG 密钥：
- sudo apt update
- wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
添加 APT 仓库（将 8.x 替换为你的实际版本，如 7.x 或 8.x）：
- echo “deb https://artifacts.elastic.co/packages/8.x/apt stable main” | sudo tee -a /etc/apt/sources.list.d/elastic-8.x.list
安装并启动服务：
- sudo apt update && sudo apt install -y filebeat
- sudo systemctl enable --now filebeat
配置文件默认路径：/etc/filebeat/filebeat.yml。建议先备份：sudo cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml.bak。

二两种常见输出方式

直接输出到 Elasticsearch（最简）：
- 编辑 /etc/filebeat/filebeat.yml，仅保留并调整：
  - output.elasticsearch.hosts: [“http://ES_HOST:9200”]
  - 如启用安全认证：
    - output.elasticsearch.username: “elastic”
    - output.elasticsearch.password: “your_password”
- 启用系统模块并加载模板/仪表板（首次接入可用）：
  - sudo filebeat modules enable system
  - sudo filebeat setup
- 重启：sudo systemctl restart filebeat
输出到 Logstash（便于过滤/加工）：
- 注释或删除 Elasticsearch 输出段，启用 Logstash：
  - output.logstash.hosts: [“LOGSTASH_HOST:5044”]
- 重启：sudo systemctl restart filebeat
- 在 Logstash 侧创建管道（示例 /etc/logstash/conf.d/filebeat.conf）：
  - input { beats { port => 5044 } }
  - output { elasticsearch { hosts => [“http://ES_HOST:9200”] index => “filebeat-%{+YYYY.MM.dd}” } }
- 启动 Logstash：sudo systemctl start logstash
说明：
- 若 Elasticsearch 启用了 X-Pack 安全，需在 Filebeat 中配置 用户名/密码 才能写入。
- 使用 modules（如 system）时，先启用模块，再用 filebeat setup 初始化索引模板与 Kibana 仪表板更省事。

三采集示例配置

采集 Ubuntu 系统日志（使用 modules 方式，推荐）：
- sudo filebeat modules enable system
- 编辑模块配置（/etc/filebeat/modules.d/system.yml），确认 paths 包含 /var/log/syslog，必要时开启 auth、syslog 等 fileset。
- 如需直接写 ES：sudo filebeat setup && sudo systemctl restart filebeat
采集 Java 应用日志（多行堆栈友好，使用 filestream 输入）：
- 在 filebeat.yml 的 filebeat.inputs 段添加：
  - type: filestream id: java-app enabled: true paths:
    - /var/log/myapp/*.log multiline.type: pattern multiline.pattern: ‘^\d{4}-\d{2}-\d{2}’ multiline.negate: true multiline.match: after
- 选择输出（ES 或 Logstash），重启 Filebeat 生效。

四启动与验证

服务状态与实时日志：
- sudo systemctl status filebeat
- sudo journalctl -u filebeat -f
自检与连通性：
- filebeat test config -e（语法与配置自检）
- filebeat test output（输出连通性测试）
在 Elasticsearch 中快速确认索引：
- curl -X GET “http://ES_HOST:9200/_cat/indices?v” | grep filebeat
在 Kibana 中查看：进入 Discover，选择 filebeat-* 索引模式，开始检索。

五常见问题与优化

权限与路径：确保 Filebeat 对日志目录有读取权限（如 /var/log/ 与你的应用日志目录），必要时将 filebeat 用户加入对应组（如 adm）。
多行日志：Java 堆栈务必配置 multiline，否则堆栈会被拆成多事件。
资源与吞吐：根据日志量调整 bulk_max_size、worker 等参数；必要时增加 queue.mem.events 缓冲。
版本匹配：Elasticsearch、Logstash、Kibana 与 Filebeat 的 大版本号需一致（如均为 7.x 或 8.x），避免兼容性问题。
安全加固：生产环境启用 TLS/SSL 与认证，并限制输出主机的访问来源。

最新问答