怎样用ELK分析服务器日志

使用 ELK（Elasticsearch + Logstash + Kibana） 分析服务器日志，一般可分为 采集 → 解析 → 存储 → 可视化分析 四个阶段。下面以最常见的 Linux 服务器日志（如 Nginx、系统日志、应用日志） 为例，说明完整思路和做法。

一、ELK 各组件作用

• Elasticsearch：存储和检索日志数据（搜索引擎）
• Logstash / Filebeat：采集、过滤、解析日志
• Kibana：日志可视化、查询、仪表盘

实际生产中常用：Filebeat（轻量采集） + Logstash（复杂处理） + ES + Kibana

二、典型架构

服务器日志
   ↓
Filebeat（采集）
   ↓
Logstash（过滤/解析）
   ↓
Elasticsearch（存储）
   ↓
Kibana（分析）

三、部署方式（简要）

1. 安装 ELK

• 官方下载：https://www.elastic.co/
• 或使用 Docker：

docker-compose up -d

四、采集服务器日志（Filebeat）

示例：采集 Nginx 日志

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log

output.logstash:
  hosts: ["logstash:5044"]

启动：

filebeat -e -c filebeat.yml

五、日志解析（Logstash）

示例：解析 Nginx 日志

nginx.conf

input {
  beats {
    port => 5044
  }
}

filter {
  grok {
    match => {
      "message" => '%{IPORHOST:clientip} - %{USER:ident} \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URIPATH:url} HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:bytes}'
    }
  }

  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "nginx-logs-%{+YYYY.MM.dd}"
  }
}

六、Elasticsearch 存储

• 自动创建索引：nginx-logs-2026.01.21
• 每条日志变成一个 JSON 文档
• 支持全文检索、聚合分析

七、Kibana 可视化分析

1. 创建索引模式

• Stack Management → Index Patterns
• 输入：nginx-logs-*

2. 常用分析场景

• 访问量趋势（按时间聚合）
• Top IP
• HTTP 状态码分布
• 慢请求分析
• 错误日志告警

3. 示例：Kibana 查询

status >= 500
clientip: "192.168.1.10"

八、常见服务器日志分析场景

九、进阶建议

• 使用 ILM（索引生命周期） 控制日志存储
• 配置 告警（Watcher / ElastAlert）
• 日志结构化（JSON 日志最佳）
• 使用 APM 做应用性能分析

如果你愿意，可以告诉我：

• 使用的是 哪类服务器/应用（Nginx、Tomcat、Docker？）
• 是 云服务器还是本地
• 想重点分析 什么问题

我可以给你一份 可直接用的配置示例。