Linux Trigger如何进行故障排查

Linux Trigger故障排查实战指南

一 明确含义与范围

• 在 Linux 场景中，Trigger并非单一标准组件，常见指代包括：
  • systemd 服务/定时器触发（如 .service 被 .timer 触发、依赖触发、开机触发）
  • 应用或脚本的自定义触发机制（文件、时间、事件触发）
  • 内核或硬件事件触发（如 udev 规则、驱动触发）
  • 调度类触发（如 cron 定时任务）
• 排查思路：先定位“是谁的触发”“在什么条件下触发”，再围绕该主体查日志、看配置、复现问题。

二 通用排查流程

• 明确触发点与现象
  • 记录触发时间、触发条件、预期与实际行为、是否可稳定复现。
• 收集现场信息
  • 系统日志：journalctl、/var/log/（如 syslog、messages）、内核日志 dmesg
  • 资源与进程：top/htop、ps、df、free、netstat/ss
  • 网络与链路：ping、traceroute
• 定位触发源
  • 若为 systemd：核对 .timer 是否启用、OnCalendar/OnBootSec 是否匹配、服务单元是否成功激活
  • 若为 cron：检查 /var/log/cron 或 /var/log/syslog 中的执行记录
  • 若为脚本/程序：用 strace 跟踪系统调用、用 gdb 做断点调试（必要时）
• 核对配置与权限
  • 配置文件语法、路径、环境变量、执行权限（如 chmod +x）
  • 依赖服务是否已启动、端口是否冲突、资源是否耗尽
• 复现与隔离
  • 在测试环境最小化复现；逐步回退变更（最近配置/补丁/升级）
• 修复与验证
  • 修正配置或代码、重启相关单元/服务、持续观察日志确认恢复。

三 常见场景与命令清单

四 高频问题与对策

• 定时任务“没跑”或“看不到输出”
  • 原因：未写日志、环境变量缺失、相对路径、权限不足、时间表达式错误
  • 对策：在 crontab 中使用绝对路径与输出重定向；在脚本顶部显式设置 PATH/SHELL/HOME；赋权 chmod +x；用 grep CRON /var/log/syslog 或 /var/log/cron 验证执行；必要时在脚本内重定向 stdout/stderr 到日志文件。
• systemd 定时器“到点未触发”或“服务启动失败”
  • 原因：.timer 未启用、OnCalendar 配置不当、服务单元启动失败、依赖未满足
  • 对策：启用并检查：systemctl enable --now .timer；核对：systemctl list-timers；联合查看：journalctl -u .timer -u .service -b；若服务失败，用 journalctl -xeu 定位错误并修复。
• 服务被“触发”但立即退出
  • 原因：配置错误、端口冲突、权限/SELinux、依赖未就绪
  • 对策：查状态与日志：systemctl status 、journalctl -xeu ；看端口：ss -lntp；检查依赖：systemctl list-dependencies ；必要时调整配置、释放端口或补齐依赖。
• 日志分散难以追踪
  • 对策：统一用 journalctl 检索并按时间过滤；对历史与占用做定期清理与归档（如保留最近 7 天或 100MB）。

五 最小化复现实战示例

• 场景：systemd 定时器到点未执行脚本
  1. 核对定时器与单元
     • systemctl status backup.timer
     • systemctl list-timers | grep backup
  2. 查看联合日志，定位是否触发与服务是否成功
     • journalctl -u backup.timer -u backup.service -b --since today
  3. 若服务失败，查看详细错误
     • journalctl -xeu backup.service
  4. 若定时器未到点，检查 OnCalendar 表达式与本地时间/时区
  5. 若脚本本身有问题，用 strace 跟踪
     • strace -f -o /tmp/backup.strace /usr/local/bin/backup.sh
  6. 修复后重启并观察
     • systemctl restart backup.timer backup.service
     • journalctl -f -u backup.service
• 场景：cron 任务未执行
  1. 查看执行记录
     • grep CRON /var/log/syslog
  2. 在 crontab 中写入日志与绝对路径
     • */5 * * * * /usr/local/bin/do_backup.sh >>/var/log/backup.log 2>&1
  3. 赋权并检查脚本首行 Shebang 与可执行权限
     • chmod +x /usr/local/bin/do_backup.sh
  4. 若仍失败，手动执行脚本验证，再回到 cron 环境差异排查（PATH、HOME、环境变量）