ubuntu filebeat错误排查步骤

Ubuntu 上 Filebeat 错误排查步骤

一 快速定位与日志获取

• 查看服务状态与最近错误：使用命令查看 systemd 单元状态与最近日志，聚焦 Active、ExecStart、code=exited 等关键字。示例：sudo systemctl status filebeat -l 与 sudo journalctl -xe -u filebeat.service。
• 实时跟踪服务日志：持续输出 Filebeat 的系统日志，便于复现问题：sudo journalctl -u filebeat.service -f。
• 查看 Filebeat 自身日志文件：默认路径为 /var/log/filebeat/filebeat.log，可实时查看：sudo tail -f /var/log/filebeat/filebeat.log。
• 前台直接运行以获取更详细报错：绕过 systemd 直接执行 sudo filebeat -c /etc/filebeat/filebeat.yml -e，能快速暴露 YAML 解析、模块加载、输出连接 等初始化错误。
• 提升日志级别用于疑难问题定位：在 /etc/filebeat/filebeat.yml 中设置 logging.level: debug，并重启服务：sudo systemctl restart filebeat，随后查看 /var/log/filebeat/filebeat.log 获取更细粒度信息。

二 配置与语法检查

• 校验配置文件语法与缩进：使用 yamllint 检查 sudo yamllint /etc/filebeat/filebeat.yml；YAML 对缩进敏感，常见错误为列表项或层级不一致。
• 核对输入配置：确认 filebeat.inputs 中 type、enabled、paths 等字段正确，路径是否存在且可访问。
• 核对输出配置：
  • 输出到 Logstash：output.logstash.hosts 一般为 [“host:5044”]；若启用 SSL/TLS，需补充 ssl.certificate_authorities、ssl.verification_mode 等。
  • 输出到 Elasticsearch：output.elasticsearch.hosts 如 [“http://host:9200”]；若启用 安全认证，需配置 username/password 或 API Key。
• 版本兼容：确保 Filebeat 与 Elasticsearch/Logstash 主版本一致（如均为 8.x），避免协议与模板不兼容。
• 变更后重启并观察：每次修改配置后执行 sudo systemctl restart filebeat，并立即查看 journalctl 与 filebeat.log 的输出。

三 运行与连通性验证

• 服务运行状态：确认 Filebeat 已启动且未频繁重启：sudo systemctl is-active filebeat（期望返回 active）。
• 网络连通性测试：
  • 到 Logstash：telnet logstash-host 5044 或 nc -vz logstash-host 5044。
  • 到 Elasticsearch：curl -X GET "http://elasticsearch:9200"（如启用 HTTPS/认证，需相应调整 URL 与头部）。
• 防火墙与安全组：确认 Ubuntu 防火墙（ufw） 或云安全组已放行 5044（Logstash）与 9200（Elasticsearch）等端口。
• 目标服务可用性：在目标端确认 Elasticsearch/Logstash 已启动且监听正确端口，必要时查看其自身日志以排查拒绝连接、证书校验失败、认证失败等。

四 权限与采集路径问题

• 运行用户与权限：确认 Filebeat 运行用户对日志文件与目录具备读取权限，对数据目录（如 /var/lib/filebeat）具备读写权限；必要时调整文件属主属组或以具备权限的用户运行。
• 日志文件权限示例：对单个文件放宽读取权限（仅示例，生产请遵循最小权限原则）：sudo chmod o+r /path/to/your.log。
• 路径有效性：核对 paths 是否指向真实存在的文件或通配路径；若路径错误或文件被轮转移除，Filebeat 将无数据可读。
• 容器场景：采集 Docker 日志可使用 type: container 并添加 add_docker_metadata 处理器；确保 Docker 日志驱动为 json-file/journald 且 Filebeat 可访问 Docker 套接字或日志文件。

五 数据是否到达与端到端验证

• 检查 Elasticsearch 是否创建索引：列出索引 curl -X GET "http://localhost:9200/_cat/indices?v"，应能看到 filebeat-* 或自定义索引。
• 查询索引数据：检索示例 curl -X GET "http://localhost:9200/filebeat-*/_search?pretty&q=*"，验证是否有文档写入。
• Kibana 验证：在 Discover 选择索引模式（如 filebeat-*），确认字段解析与数据展示正常。
• 若已发送但查不到：复核 索引模板/ILM 策略、处理器（dissect/json/drop_event） 配置是否导致文档被丢弃或映射异常；同时查看 Elasticsearch 日志以定位拒绝写入、模板冲突等问题。