用 Filebeat 快速定位 CentOS 故障的思路
- 在故障现场，先把分散在各处的系统与应用日志集中起来，并带上主机名、服务名、时间戳等字段，便于跨主机、跨时间段检索与关联。
- 借助 Filebeat 的模块化输入（如 system、nginx、mysql 等）与多行合并，把堆栈轨迹、异常堆栈、慢查询等“跨行事件”正确还原，避免关键信息被拆散。
- 将日志稳定输出到 Logstash/Elasticsearch，在 Kibana 中按时间线与字段进行过滤、聚合与可视化，迅速还原故障现场与根因线索。
落地配置与部署步骤
- 安装 Filebeat（以 YUM 为例）
- 导入 GPG 并添加仓库后安装：
- sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
- echo -e “[elasticsearch-7.x]\nname=Elasticsearch repository for 7.x packages\nbaseurl=https://artifacts.elastic.co/packages/7.x/yum\ngpgcheck=1\ngpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch\nenabled=1\nautorefresh=1\ntype=rpm-md” | sudo tee /etc/yum.repos.d/elasticsearch.repo
- sudo yum install -y filebeat
- 启用并配置系统模块（推荐）
- 启用模块：sudo filebeat modules enable system
- 按需调整模块参数（如 system 模块日志路径、是否解析为 ECS 字段等）
- 配置输出（二选一或双写）
- 输出到 Logstash（便于解析与丰富）：
- output.logstash: hosts: [“logstash.example.com:5044”]
- 直连 Elasticsearch（简单场景）：
- output.elasticsearch: hosts: [“es.example.com:9200”]
- 启动与开机自启
- sudo systemctl enable --now filebeat
- 验证
- sudo systemctl status filebeat
- sudo tail -f /var/log/filebeat/filebeat.log
常见故障场景与排查路径
- 服务未启动或反复失败
- 查看详细错误：sudo journalctl -xeu filebeat；常见原因包括配置语法错误、端口不通、权限不足、证书缺失等。
- 语法校验：sudo yamllint /etc/filebeat/filebeat.yml；缩进与冒号错误是高频问题。
- 配置变更未生效
- 修改 filebeat.yml 后执行：sudo systemctl restart filebeat；再次 tail 日志确认无报错。
- 日志采不到或字段解析异常
- 核对 inputs.paths 是否覆盖目标文件（如 /var/log/*.log、/var/log/messages、/var/log/secure 等）；必要时用 filebeat test config 与 filebeat test output 做快速自检。
- 堆栈与多行日志需开启多行合并，避免事件被拆分（如 Java 异常堆栈、Nginx 错误日志）。
- 无法连接 Logstash/Elasticsearch
- 连通性测试：telnet logstash.example.com 5044 或 curl -I http://es.example.com:9200
- 检查防火墙/安全组是否放行 5044/9200 等端口；确认目标服务已启动且监听正确地址。
- 权限问题
- 确认运行 Filebeat 的用户对日志文件具备读取权限（/var/log 下文件通常需由 root 或具备相应组权限的用户读取）。
高效检索与根因定位示例
- 在 Kibana 构建索引模式（如 filebeat-*），按时间范围筛选故障时段，优先查看高等级事件（如 system.syslog 的 ERROR/CRIT/ALERT）。
- 按主机与服务快速定位：使用字段如 host.name、event.dataset（如 system.syslog、nginx.access、mysql.error）进行过滤与聚合。
- 还原异常现场：
- 对 Java 应用，利用多行合并查看完整 stacktrace；对 Nginx，结合 http.response.status、url.path 找出 5xx 的来源与频次。
- 对认证/安全类问题，检索 /var/log/secure 中的 Failed password、session opened/closed 等事件，结合 user.name 与 source.ip 溯源。
- 性能与异常趋势：在 Discover 或 Dashboard 中按 host.name + service 统计错误率、响应时延、连接失败数等指标，定位异常节点与时间段。
最小可用配置示例
- 启用 system 模块并输出到 Logstash（便于集中解析与告警）
- filebeat.modules:
- module: system
syslog:
enabled: true
var.paths: [“/var/log/messages”, “/var/log/secure”]
- output.logstash:
hosts: [“logstash.example.com:5044”]
- logging.level: info
- logging.to_files: true
- logging.files:
path: /var/log/filebeat
name: filebeat.log
- 直连 Elasticsearch（简单场景）
- filebeat.inputs:
- type: log
enabled: true
paths:
- output.elasticsearch:
hosts: [“es.example.com:9200”]
- 启动与验证
- sudo filebeat setup --dashboards（可选，加载示例仪表盘）
- sudo systemctl enable --now filebeat
- sudo tail -f /var/log/filebeat/filebeat.log
