Linux Trigger 错误检测实操指南
一 概念与适用场景
- 在运维语境中，Trigger通常指两类机制：
- 监控平台的触发器（如 Zabbix Trigger）：当日志或指标匹配规则时触发告警，并可联动通知与脚本处置。
- 命令行/脚本的触发逻辑：用 tail -f、grep、awk、sed 实时过滤与统计，配合 cron 定时或阈值判断形成“条件即触发”的检测与处置流程。
- 典型流程：日志采集 → 实时过滤/解析 → 条件匹配（触发） → 统计/告警/处置 → 留存与清理。
二 基于 Zabbix Trigger 的日志告警与错误检测
- 前置准备
- 在被监控主机部署 Zabbix Agent（active），确保对目标日志（如 /var/log/secure）具备可读权限。
- 创建日志监控项（Item）
- Type：Zabbix agent (active)
- Type of information：Log
- Key：log[/var/log/secure,“(Accepted|Failed) password”,skip,]
- Update interval：60s
- 说明：使用正则同时捕获“登录成功/失败”的密码认证行，skip 表示跳过旧数据，避免重复告警。
- 创建触发器（Trigger）
- 登录失败告警
- Name：Login attempt has failed
- Expression：{Template OS Linux:log[/var/log/secure,“(Accepted|Failed) password”,skip,].str(Failed)}=1 & {Template OS Linux:log[/var/log/secure,“(Accepted|Failed) password”,skip,].nodata(60)}=0
- 含义：出现“Failed”且最近 60s 有数据更新才触发，避免“一直告警”。
- 非常规时段登录成功告警
- Name：Login accepted at unusual time
- Expression：{Template OS Linux:log[/var/log/secure,“(Accepted|Failed) password”,skip,].str(Accepted)}=1 & {Template OS Linux:log[/var/log/secure,“(Accepted|Failed) password”,skip,].nodata(60)}=0 & ({Template OS Linux:log[/var/log/secure,“(Accepted|Failed) password”,skip,].time(0)}<080000 | {Template OS Linux:log[/var/log/secure,“(Accepted|Failed) password”,skip,].time(0)}>200000)
- 含义：匹配“Accepted”，且发生在 08:00–20:00 之外的时间段触发。
- 动作（Action）
- 绑定告警媒介（邮件、企业微信、钉钉、Webhook 等），并可在 Operations/Recovery Operations 中执行远程命令或脚本进行处置（如封禁 IP、重启服务等）。
- 要点
- 权限与路径必须正确；日志轮转后，Zabbix 的 log 监控项会自动追踪新文件（按配置项行为）。
- 触发器表达式中的 nodata(60) 用于“无新日志即恢复”，避免告警长期挂起。
三 基于命令行与脚本的触发式日志分析
- 实时触发与统计
- 实时过滤错误并高亮：tail -f /var/log/syslog | grep --color=always -i “error|fail|exception”
- 按分钟统计错误次数并触发阈值告警
- 脚本示例（保存为 error_rate.sh）：
- #!/usr/bin/env bash
LOG=/var/log/syslog
WINDOW=60
THRESHOLD=10
COUNT=$(tail -n 5000 “$LOG” | grep -i “error” | wc -l)
if [ “$COUNT” -ge “$THRESHOLD” ]; then
echo “ALERT: $COUNT errors in last $WINDOW seconds” | mail -s “[ALERT] High error rate” admin@example.com
fi
- 定时执行（crontab -e）：每 1 分钟执行一次：/path/to/error_rate.sh
- 解析与提取
- 提取 Nginx 访问日志中 5xx 状态码并按 IP 计数：
- tail -n 10000 /var/log/nginx/access.log | awk ‘$9 ~ /^5[0-9]{2}$/ {ip[$1]++} END {for (i in ip) print i, ip[i]}’ | sort -nrk2
- 内核环缓冲异常关键字触发
- dmesg -T | tail -n 200 | grep -i “oom|segfault|call trace” && echo “Kernel issue detected” | mail -s “[KERNEL] OOM/Segv” admin@example.com
- 说明
- 通过 tail -f + grep/awk 实现“事件即触发”，通过 cron 实现“周期性触发”；阈值与关键字可按业务调整。
四 触发器自身故障的排查方法
- 确认触发器状态
- systemctl status <trigger_service_name>
- 查看日志
- journalctl -u <trigger_service_name> -e
- 对于 cron：grep CRON /var/log/syslog
- 检查配置与依赖
- 配置文件路径：/etc/systemd/system/、/etc/cron.d/ 等
- systemctl list-dependencies <trigger_service_name>
- 重启与更新
- systemctl restart <trigger_service_name>
- 系统与软件包更新（如 apt update && apt upgrade）
- 权限与脚本调试
- 检查脚本权限：ls -l /path/to/trigger_script.sh
- 脚本内开启调试：set -x；必要时用 bash -x 或 gdb 逐步执行
- 环境差异与验证
- cron 环境不同于交互式终端，注意环境变量与路径；先在命令行手动执行验证。
五 实践建议与注意事项
- 权限与合规
- 监控/分析账号仅授予只读日志权限；对含敏感信息的日志做脱敏与最小化传播。
- 日志轮转与保留
- 使用 logrotate 管理日志大小与周期；journald 可用 –vacuum-time / --vacuum-size 控制占用，避免磁盘被撑满。
- 性能与稳定性
- 实时分析避免全量扫描，优先使用 tail -n 限定窗口；对高频关键字加计数阈值，减少告警风暴。
- 告警治理
- 建议设置恢复条件（如 nodata、回归正常阈值），避免“告警粘滞”。
