Debian系统监控与告警机制设置指南
一 监控目标与总体架构
- 监控目标：覆盖主机资源（CPU、内存、磁盘IO、网络）、服务可用性（systemd 单元）、日志异常（syslog）、以及业务/中间件（如 Nginx、GitLab 等）。
- 推荐架构：在 Debian 上以Prometheus采集时序指标、Alertmanager进行分组与路由、Grafana做可视化；日志侧用rsyslog/syslog-ng集中，必要时接入ELK/Graylog做分析与告警；命令行与轻量方案用于快速排障与兜底。
二 快速落地 Prometheus Alertmanager Grafana
- 安装组件（示例路径与版本可按需调整）：
- Prometheus：抓取与存储时序指标
- Alertmanager：接收 Prometheus 告警，做去重、分组、静默与路由
- Grafana：可视化与面板
- 配置 Prometheus 告警规则（示例）：创建文件**/etc/prometheus/alert_rules.yml**
- groups:
- name: basic-alerts
rules:
- alert: InstanceDown
expr: up == 0
for: 5m
labels: { severity: critical }
annotations:
summary: “Instance {{ $labels.instance }} down”
description: “{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes.”
- alert: HighCpuUsage
expr: 100 - (avg by(instance)(irate(node_cpu_seconds_total{mode=“idle”}[5m]))) * 100 > 80
for: 5m
labels: { severity: warning }
annotations:
summary: “High CPU usage on {{ $labels.instance }}”
description: “CPU usage is above 80% for more than 5 minutes.”
- alert: HighMemoryUsage
expr: (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100 > 85
for: 5m
labels: { severity: warning }
annotations:
summary: “High memory usage on {{ $labels.instance }}”
description: “Memory usage is above 85% for more than 5 minutes.”
- 在 Prometheus 主配置中加载规则与告警路由（prometheus.yml）
- rule_files:
- “/etc/prometheus/alert_rules.yml”
- alerting:
alertmanagers:
- static_configs:
- targets: [“localhost:9093”]
- 启动顺序与验证
- 启动 Prometheus（指定配置文件）、启动 Alertmanager（默认监听9093）、启动 Grafana 并添加 Prometheus 为数据源，导入常用节点/主机面板。
- 在 Prometheus 的 Alerts 页面查看规则与告警状态，在 Grafana 中构建业务大盘。
三 日志监控与 Syslog 告警
- 使用 rsyslog 做条件匹配并触发告警
- 安装与启用：sudo apt-get install -y rsyslog && sudo systemctl enable --now rsyslog
- 示例 1（按级别分离）：将所有crit级别日志单独写入文件
- if $syslogseverity-text == ‘crit’ then /var/log/critical.log
- & stop
- 示例 2（邮件告警）：将alert级别日志通过管道调用邮件命令发送
- if $syslogseverity-text == ‘alert’ then |/usr/bin/mail -s “ALERT: $msg” your_email@example.com
- 示例 3（转发到远程 Syslog）：将指定程序apache2的error级别日志发往远端
- if $programname == ‘apache2’ and $syslogseverity-text == ‘error’ then @@remote_server_ip:514
- & stop
- 应用配置：sudo systemctl restart rsyslog
- 集中化日志与可视化/告警
- 将 rsyslog 输出接入ELK（Elasticsearch/Logstash/Kibana）或Graylog，在 Kibana 中配置基于查询/阈值的告警规则，实现更复杂的日志告警与报表。
四 轻量脚本与系统自带工具兜底
- 轻量 Shell 脚本监控（CPU/内存/磁盘/IO/网络）并通过 SMTP 邮件告警
- 依赖：msmtp（邮件发送）、sysstat（CPU/IO）、ifstat（网络流量）
- 思路：阈值可配置（如 CPU>80%、内存>80%、磁盘>80%、IO 等待>50ms、网络>10MB/s），采集→判断→累积告警内容→msmtp 发送→记录日志。
- 常用命令行与系统工具
- 资源与进程：top/htop、vmstat、iostat、free、df、netstat/ss、dstat
- 日志与内核：journalctl（按服务/时间过滤）、dmesg、/var/log 文件
- 桌面环境：GNOME System Log、KSysGuard
- 轻量监控/告警守护进程：Monit（适合守护进程存活、资源阈值与简单恢复动作）。
五 关键实践与排错要点
- 告警去噪：为规则设置合理for（如持续5分钟），使用severity标签区分严重级别，并在 Alertmanager 做分组、抑制与静默策略，避免告警风暴。
- 指标覆盖：除主机资源外，补充Debian 特有关注点，如 APT 安全更新待处理、systemd 服务状态（node_systemd_unit_state）、以及易满的**/var/log**分区等。
- 日志与追踪：统一到rsyslog集中，关键业务日志结构化输出；必要时用ELK/Graylog做模式识别与趋势告警。
- 验证流程：先在 Prometheus 的“Targets/Alerts”页确认抓取与健康检查，再在 Alertmanager 查看路由与通知是否生效；脚本类告警务必检查SMTP 认证/SSL与系统日志投递路径。
