温馨提示×

debian golang日志怎么清洗

小樊
53
2026-09-07 06:17:29
栏目: 编程语言

在 Debian 上用 Golang 做日志清洗,通常思路是:
采集 → 解析 → 过滤/转换 → 输出(或存储)。下面按“常见场景 + 可直接用的做法”来讲。


一、明确你要“清洗”什么

日志清洗一般包括:

  • 去除无用行(心跳、健康检查)
  • 过滤敏感信息(IP、手机号、token)
  • 结构化(文本 → JSON)
  • 按级别/时间/服务过滤
  • 格式化(统一时间、字段)

二、Debian 上日志来源

常见来源:

  1. 应用自身日志
    • stdout / stderr
    • 文件(如 /var/log/app/*.log)
  2. 系统日志
    • journalctl(systemd)
    • /var/log/syslog

三、Golang 日志清洗常用方案

方案 1:Golang 直接读日志文件并清洗(最常用)

示例:读取日志 → 过滤 → 写新文件

package main

import (
    "bufio"
    "os"
    "regexp"
    "strings"
)

func main() {
    in, _ := os.Open("/var/log/app/app.log")
    defer in.Close()

    out, _ := os.Create("/var/log/app/app.clean.log")
    defer out.Close()

    scanner := bufio.NewScanner(in)
    sensitive := regexp.MustCompile(`\d+\.\d+\.\d+\.\d+`)

    for scanner.Scan() {
        line := scanner.Text()

        // 过滤空行
        if strings.TrimSpace(line) == "" {
            continue
        }

        // 脱敏 IP
        line = sensitive.ReplaceAllString(line, "***.***.***.***")

        out.WriteString(line + "\n")
    }
}

✅ 适合:

  • 定时任务
  • 单服务日志
  • 轻量清洗

方案 2:解析标准日志(logfmt / JSON)

JSON 日志清洗示例

type Log struct {
    Time  string `json:"time"`
    Level string `json:"level"`
    Msg   string `json:"msg"`
}

func clean(logs []Log) []Log {
    var result []Log
    for _, l := range logs {
        if l.Level == "debug" {
            continue
        }
        result = append(result, l)
    }
    return result
}

方案 3:配合 systemd(journalctl)

从 journal 读日志:

journalctl -u myapp -f

Go 中:

cmd := exec.Command("journalctl", "-u", "myapp", "-f")
stdout, _ := cmd.StdoutPipe()
cmd.Start()

适合 实时清洗


方案 4:用 Go 写“日志管道”

原始日志 → Go 程序 → Kafka / ES / 文件

例如:

  • 读文件
  • 解析
  • 发到 ElasticSearch

四、结合 Debian 的实用建议

1. 用 systemd 定时跑清洗程序

[Unit]
Description=Log Cleaner

[Service]
ExecStart=/opt/logcleaner/logcleaner

或 cron:

0 2 * * * /opt/logcleaner/logcleaner

2. 日志轮转(重要)

Debian 用 logrotate:

/var/log/app/*.log {
    daily
    rotate 7
    compress
    missingok
}

五、推荐工具组合(生产级)

场景 推荐
简单清洗 Go + 文件
结构化 Go + JSON
实时 journalctl + Go
大规模 Filebeat + Go 处理

六、如果你愿意,我可以

  • 给你一个完整可运行 Go 日志清洗模板
  • 按你的日志格式(贴一行)写解析代码
  • 帮你设计 systemd + Go 清洗方案

直接把日志样例发我即可。

0 踩