怎样分析Linux错误日志

分析 Linux 错误日志是系统运维和故障排查的核心技能。在 Linux 系统中，日志是诊断问题的“黑匣子”，记录了系统、应用程序和服务的运行状态。

以下是分析 Linux 错误日志的系统化指南，从基础命令到高级排查思路。

一、Linux 日志体系概览

1. 传统日志位置（Syslog）

大多数日志集中在 /var/log 目录中：

2. systemd 日志（journalctl）

现代 Linux 使用 systemd，日志由 journald 管理：

journalctl
journalctl -xe
journalctl -u nginx
journalctl --since "2025-01-01" --until "2025-01-02"

二、快速定位错误日志（高频命令）

1. 实时查看日志

tail -f /var/log/syslog
journalctl -f

2. 搜索错误关键词

grep -i error /var/log/syslog
grep -i fail /var/log/syslog
grep -i crash /var/log/syslog

3. 统计错误数量

grep -i error /var/log/syslog | wc -l

4. 查看最近日志

tail -n 100 /var/log/syslog
journalctl -n 100

三、按问题类型分析日志

1. 系统启动 / 内核错误

dmesg | less
journalctl -k

重点关键词：

• OOM
• segfault
• kernel panic
• hardware error

2. SSH / 登录异常

grep "Failed password" /var/log/secure
grep "Invalid user" /var/log/secure

常见攻击特征：

• 大量 Failed password
• 来自同一 IP
• 短时间内多次尝试

3. 服务启动失败

systemctl status nginx
journalctl -u nginx

日志中常见：

• Permission denied
• Address already in use
• File not found

4. 磁盘 / 文件系统错误

dmesg | grep -i "error\|read-only\|I/O"
journalctl | grep -i "filesystem"

关键字：

• Read-only file system
• I/O error
• EXT4-fs error

5. 内存 / OOM

dmesg | grep -i oom
journalctl | grep -i "Out of memory"

四、结构化分析思路（推荐）

1️⃣ 明确问题时间

journalctl --since "10 minutes ago"

2️⃣ 判断问题范围

• 系统级？
• 某个服务？
• 某个用户？

3️⃣ 定位错误日志

• 内核 → dmesg
• 服务 → journalctl -u
• 网络 → /var/log/syslog

4️⃣ 交叉验证

ps aux
ss -lntp
df -h
free -h

五、高级日志分析技巧

1. 按时间排序

ls -lt /var/log

2. 按服务过滤

journalctl -u docker --since today

3. 导出日志

journalctl > system.log

4. 使用 awk 分析

awk '/error/ {print $1, $2, $3, $NF}' /var/log/syslog

六、自动化与工具（进阶）

日志分析工具

• logwatch
• rsyslog
• fluentd
• ELK（Elasticsearch + Logstash + Kibana）

定时汇总

logwatch --detail high --mailto admin@example.com

七、实战示例

示例：网站访问 502

journalctl -u nginx
journalctl -u php-fpm
ss -lntp

可能原因：

• 后端服务未启动
• 端口冲突
• 权限问题

八、总结一句话

先看时间 → 再找错误 → 定位服务 → 结合系统状态 → 复现验证

如果你愿意，可以把具体报错日志贴出来，我可以帮你逐行分析。