在 Debian 上用 Golang 做日志清洗,通常思路是:
采集 → 解析 → 过滤/转换 → 输出(或存储)。下面按“常见场景 + 可直接用的做法”来讲。
日志清洗一般包括:
常见来源:
/var/log/app/*.log)journalctl(systemd)/var/log/syslogpackage main
import (
"bufio"
"os"
"regexp"
"strings"
)
func main() {
in, _ := os.Open("/var/log/app/app.log")
defer in.Close()
out, _ := os.Create("/var/log/app/app.clean.log")
defer out.Close()
scanner := bufio.NewScanner(in)
sensitive := regexp.MustCompile(`\d+\.\d+\.\d+\.\d+`)
for scanner.Scan() {
line := scanner.Text()
// 过滤空行
if strings.TrimSpace(line) == "" {
continue
}
// 脱敏 IP
line = sensitive.ReplaceAllString(line, "***.***.***.***")
out.WriteString(line + "\n")
}
}
✅ 适合:
type Log struct {
Time string `json:"time"`
Level string `json:"level"`
Msg string `json:"msg"`
}
func clean(logs []Log) []Log {
var result []Log
for _, l := range logs {
if l.Level == "debug" {
continue
}
result = append(result, l)
}
return result
}
从 journal 读日志:
journalctl -u myapp -f
Go 中:
cmd := exec.Command("journalctl", "-u", "myapp", "-f")
stdout, _ := cmd.StdoutPipe()
cmd.Start()
适合 实时清洗
原始日志 → Go 程序 → Kafka / ES / 文件
例如:
[Unit]
Description=Log Cleaner
[Service]
ExecStart=/opt/logcleaner/logcleaner
或 cron:
0 2 * * * /opt/logcleaner/logcleaner
Debian 用 logrotate:
/var/log/app/*.log {
daily
rotate 7
compress
missingok
}
| 场景 | 推荐 |
|---|---|
| 简单清洗 | Go + 文件 |
| 结构化 | Go + JSON |
| 实时 | journalctl + Go |
| 大规模 | Filebeat + Go 处理 |
直接把日志样例发我即可。