在 CentOS 上落地 Golang 日志的多维度分析
一 架构与维度设计
- 采集与存储
- 应用侧输出结构化日志（JSON），便于按字段切片；使用logrus / zap等库并接入lumberjack做按大小/时间的日志切割与压缩。
- 系统侧用systemd管理的服务，通过journalctl统一采集标准输出与错误输出。
- 传输与处理
- 小规模：本地文件 + Filebeat 直送 Elasticsearch。
- 中大规模：Filebeat → Logstash（解析/丰富）→ Elasticsearch。
- 检索与可视化
- Kibana 建立索引模式与可视化面板，按多维度聚合分析。
- 维度建议
- 时间（分钟/小时/天）、级别（INFO/WARN/ERROR）、服务/实例、调用链/请求ID、模块/文件、HTTP 维度（路径、状态码、方法、时延）、错误码/异常类型、用户/租户、地域/机房、容器/主机。
- 运维保障
- 使用 logrotate 兜底轮转；为 Filebeat/Logstash/ES 设置资源与磁盘水位告警。
二 快速落地方案 Filebeat + Elasticsearch + Kibana
- 安装组件（CentOS 7/8 示例）
- Elasticsearch 与 Kibana 建议使用官方 RPM 仓库；Filebeat 同。
- 应用日志输出示例（JSON）
- 使用 logrus 输出 JSON，并接入 lumberjack 做切割：
- 关键字段建议：ts（时间）、level、msg、service、instance、trace_id、http_path、http_status、http_method、latency_ms、err_code、err_msg、user_id、region。
- Filebeat 配置要点（/etc/filebeat/filebeat.yml）
- filebeat.inputs:
- type: filestream
paths:
- /var/log/myapp/*.log
parsers:
- ndjson:
keys_under_root: true
add_error_key: true
- output.elasticsearch:
- hosts: [“http://es01:9200”]
- index: “myapp-logs-%{+yyyy.MM.dd}”
- Kibana 建立索引模式
- 索引模式：myapp-logs-*
- Time field：ts
- 建议的初始可视化与指标
- 折线图：按5分钟统计各level数量趋势
- 数据表：Top 10 错误码与 Top 10 接口路径
- 条形图：按status分布、http_method分布
- 散点图/热力图：latency_ms 分布与 P95/P99 趋势
- 表格：trace_id 聚合，查看错误链路与上下文
三 命令行与系统日志的多维切片
- 实时查看与过滤
- 实时跟踪：tail -f /var/log/myapp/app.log | grep --line-buffered ERROR
- 关键词与正则：grep -E ‘ERROR|panic’ /var/log/myapp/app.log
- 时间与字段切片
- 时间窗口：awk ‘/2025-12-05 10:00:00/,/2025-12-05 10:30:00/’ /var/log/myapp/app.log
- 按字段统计 Top N：
- 按 HTTP 路径：awk -F’"’ ‘{print $2}’ /var/log/myapp/access.log | sort | uniq -c | sort -nr | head
- 按响应时延（假设字段为 $13）：awk ‘{print $13}’ access.log | sort -n | tail -n 20
- systemd 服务日志
- 实时查看：journalctl -u myapp.service -f
- 时间窗口：journalctl -u myapp.service --since “2025-12-05 10:00:00” --until “2025-12-05 10:30:00”
- 错误级别筛选：journalctl -u myapp.service -p err -b
- 统计与去重
- 行数统计：wc -l /var/log/myapp/app.log
- 错误类型排行：grep -o ‘ERR_[A-Z_]+’ app.log | sort | uniq -c | sort -nr
四 进阶方案与性能优化
- 大规模与集中化
- 引入 Logstash 做多源解析、字段标准化、脱敏与路由；ES 分片与副本按数据量与查询压力规划；Kibana 建立统一Dashboard。
- 可视化与对比
- 使用 Grafana（对接 ES 或通过 Loki/Promtail）构建跨服务对比面板；按服务/实例/版本对比错误率与延迟。
- 性能与可靠性
- 应用侧使用异步/缓冲写入；为 JSON 字段建立keyword/numeric 正确类型以加速聚合；冷热数据分层与 ILM 策略；Filebeat 与 ES 批量大小与超时调优。
- 告警与 SLO
- 在 Kibana 或外部告警系统上配置阈值告警：如5xx 比例、P95 延迟、ERROR 突增、磁盘水位等。
五 最小可用配置与命令清单
- 应用侧最小配置（logrus + lumberjack）
- 日志格式：JSON；必填字段：ts、level、msg、service、instance、trace_id
- 切割策略：单文件10MB、保留7天、压缩开启
- Filebeat 最小配置
- 输入：/var/log/myapp/*.log（ndjson 解析）
- 输出：ES 索引 myapp-logs-%{+yyyy.MM.dd}
- Kibana
- 索引模式：myapp-logs-*；Time field：ts
- 初始面板：错误趋势、Top 错误码、Top 接口、P95/P99 延迟
- 常用命令
- 实时错误：tail -f /var/log/myapp/app.log | grep --line-buffered ERROR
- 近 30 分钟 ERROR：journalctl -u myapp.service --since “30 min ago” -p err
- Top 10 路径：awk -F’"’ ‘{print $2}’ access.log | sort | uniq -c | sort -nr | head
- 行数与错误排行：wc -l app.log；grep -o ‘ERR_[A-Z_]+’ app.log | sort | uniq -c | sort -nr
