如何通过Golang日志排查CentOS系统问题

用 Golang 日志定位 CentOS 问题的实操流程

一 日志采集与输出规范

• 应用侧建议统一使用结构化日志（如 logrus、zap），便于检索与聚合；开发环境可用 DEBUG，生产环境建议 INFO/WARN/ERROR，避免过量日志影响性能与成本。示例要点：
  • logrus：设置级别与 JSON 格式，输出到文件或标准输出。
  • zap：采用生产配置（JSON、ISO8601 时间、LowercaseLevelEncoder），并定期调用 Sync 落盘。
• 系统侧统一接入 systemd 日志，便于与内核、依赖服务日志联动排查；将应用以服务方式运行，日志写入 stdout/stderr 由 journald 收集。
• 日志轮转使用 logrotate，控制单文件大小与保留周期，防止磁盘被占满。

示例 最小可用配置

• logrus（JSON，输出到文件）

package main

import (
    "github.com/sirupsen/logrus"
    "os"
)

func main() {
    logger := logrus.New()
    logger.SetLevel(logrus.InfoLevel)
    logger.SetFormatter(&logrus.JSONFormatter{})

    f, _ := os.OpenFile("/var/log/myapp.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
    defer f.Close()
    logger.SetOutput(f)

    logger.WithFields(logrus.Fields{"svc": "order"}).Info("service started")
}

• zap（生产配置，JSON，同步落盘）

package main

import (
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
)

func main() {
    cfg := zap.Config{
        Level:       zap.NewAtomicLevelAt(zap.InfoLevel),
        Encoding:    "json",
        EncoderConfig: zapcore.EncoderConfig{
            TimeKey:      "ts",
            LevelKey:     "level",
            MessageKey:   "msg",
            StacktraceKey: "stacktrace",
            EncodeLevel:  zapcore.LowercaseLevelEncoder,
            EncodeTime:   zapcore.ISO8601TimeEncoder,
        },
        OutputPaths:      []string{"stdout"},
        ErrorOutputPaths: []string{"stderr"},
    }
    logger, _ := cfg.Build()
    defer logger.Sync()
    logger.Info("service started")
}

• systemd 服务与 logrotate

# /etc/systemd/system/myapp.service
[Unit]
Description=My Go App
After=network.target

[Service]
ExecStart=/usr/local/bin/myapp
Restart=always
StandardOutput=journal
StandardError=journal
User=myapp
Group=myapp

[Install]
WantedBy=multi-user.target

# /etc/logrotate.d/myapp
/var/log/myapp.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
    create 0644 myapp myapp
}

二 定位问题的排查路径

• 应用自身日志
  • 实时查看：tail -f /var/log/myapp.log
  • 错误聚焦：grep -i “error|panic|fatal” /var/log/myapp.log
  • 时间窗口：awk ‘/2025-11-14 10:00:00/,/2025-11-14 10:10:00/’ /var/log/myapp.log
  • 统计与基线：wc -l /var/log/myapp.log；按小时统计错误数观察异常峰值
• systemd 与系统日志
  • 服务日志：journalctl -u myapp.service -f
  • 启动阶段：journalctl -u myapp.service -b
  • 时间过滤：journalctl -u myapp.service --since “2025-11-14 10:00:00” --until “2025-11-14 10:10:00”
  • 系统级错误：tail -f /var/log/messages；journalctl -p err 聚焦高优先级错误
• 关联分析
  • 将应用错误与系统资源、网络、依赖服务日志对齐时间线，优先排查在错误发生前后 1–2 分钟 的系统事件（如 OOM、磁盘满、连接拒绝）。

三 常见症状 日志关键字 与处置要点

提示：

• 对 JSON 日志可用 jq 做字段筛选，例如：
  • 统计每分钟错误数：jq -r ‘select(.level==“error”) | .ts[0:16]’ app.log | sort | uniq -c
  • 按 request_id 串联调用链：jq -r ‘select(.request_id) | “(.ts) (.request_id) (.msg)”’ app.log | sort

四 性能与可用性增强

• 动态日志级别：在不重启的情况下临时提升为 DEBUG，定位后再降级，避免产生海量日志。
• 异步与采样：高并发场景使用异步写入或采样策略，降低对业务线程与磁盘 I/O 的影响。
• 指标与告警：暴露 /metrics（Prometheus 格式），结合 Grafana 建立错误率、延迟、QPS 面板并设置阈值告警。
• 性能剖析：引入 pprof，在问题时段抓取 CPU/Heap/Block/Mutex 剖面，定位慢函数与锁竞争。

示例 pprof 接入

import (
    _ "net/http/pprof"
    "log"
    "net/http"
)

func main() {
    go func() {
        log.Println(http.ListenAndServe("localhost:6060", nil))
    }()
    // 业务代码
}

• 访问 http://localhost:6060/debug/pprof/ 获取各维度剖面，配合火焰图分析热点路径。