Debian下Golang日志存储策略

Debian下Golang日志存储策略

一 策略总览与取舍

• 输出目的地分层：优先使用stdout/stderr由systemd-journald收集，便于统一检索与转发；需要落盘时写入**/var/log/应用名/并使用logrotate做轮转与压缩；超大规模或集中分析场景再接入rsyslog/ELK/Graylog**等集中式系统。
• 日志库选择：简单场景用标准库log；结构化与可读性优先用logrus；高性能与低开销用zap或zerolog；Go 1.21+可直接用slog作为官方结构化日志方案。
• 轮转方式：应用内轮转（如lumberjack）便于“自带策略”部署；系统级轮转（logrotate）便于统一运维与归档。
• 格式与级别：生产建议JSON结构化日志，包含时间、级别、调用者、请求ID等关键字段；按环境设置级别（开发Debug，生产Info/Warn）。

二 推荐方案对比

三 落地配置示例

• 示例A 应用内轮转（zap + lumberjack）

package main

import (
	"go.uber.org/zap"
	"go.uber.org/zap/zapcore"
	"github.com/natefinch/lumberjack"
)

func newLogger() *zap.Logger {
	encCfg := zap.NewProductionEncoderConfig()
	encCfg.TimeKey = "ts"
	encCfg.EncodeTime = zapcore.ISO8601TimeEncoder

	fileWriter := zapcore.AddSync(&lumberjack.Logger{
		Filename:   "/var/log/myapp/app.log", // 建议运行前mkdir -p /var/log/myapp && chown myapp:myapp /var/log/myapp
		MaxSize:    10,                     // MB
		MaxBackups: 7,
		MaxAge:     30,                     // 天
		Compress:   true,
	})

	core := zapcore.NewCore(
		zapcore.NewJSONEncoder(encCfg),
		fileWriter,
		zap.InfoLevel,
	)
	return zap.New(core, zap.AddCaller())
}

要点：生产建议JSON、包含调用者；按服务拆分日志目录与文件；确保进程对日志目录有写权限。

• 示例B 系统级轮转（logrotate） 创建文件**/etc/logrotate.d/myapp**：

/var/log/myapp/*.log {
    daily
    rotate 14
    compress
    delaycompress
    missingok
    notifempty
    create 0640 myapp myapp
    sharedscripts
    postrotate
        systemctl kill -s USR1 myapp.service >/dev/null 2>&1 || true
    endscript
}

要点：使用delaycompress避免正在写入的日志被压缩；通过USR1通知应用重新打开日志文件（应用需处理信号）；测试用logrotate -d与logrotate -f。

• 示例C 输出到 systemd-journald（适合容器/服务）

package main

import (
	"log"
	"os"
)

func main() {
	log.SetOutput(os.Stdout)
	log.SetFlags(log.LstdFlags | log.Lshortfile)
	log.Println("started")
}

要点：服务单元中设置StandardOutput=journal、StandardError=journal；用journalctl -u myapp.service -f实时查看。

四 运维与容量管理

• journald容量控制：查看用量journalctl --disk-usage；按时间清理journalctl --vacuum-time 7d；按容量清理journalctl --vacuum-size 500M。
• 系统日志轮转：logrotate统一处理**/var/log/下文件，建议启用compress与delaycompress**，并配置合适的rotate与create权限。
• 集中式与转发：小规模可先接入rsyslog再转发至ELK/Graylog；大规模建议Filebeat/Vector采集，保证可观测性与弹性扩展。

五 性能与安全要点

• 级别与采样：生产默认Info/Warn，调试期临时Debug；高吞吐可结合采样/异步写入，避免阻塞业务。
• 结构化与字段：统一使用JSON，保留ts、level、caller、trace_id/span_id、msg等；便于检索与聚合。
• 错误与panic：记录错误时附带上下文与堆栈；用recover捕获panic并上报，防止进程异常退出。
• 权限与合规：日志目录与文件设置为最小权限（如0640 myapp myapp）；避免记录敏感信息（密码、密钥、令牌）。