监控告警阈值如何设置

设置监控告警阈值的核心原则是平衡灵敏度与可用性，既要能及时发现故障，又要避免“狼来了”式的告警疲劳。最推荐的做法是采用“动态基线+静态阈值”结合的方式，并根据业务SLA（服务等级协议）进行倒推设定。

以下是具体的设置策略、通用指标参考及最佳实践：

一、 核心设置策略

1. 基于SLA/SLO倒推（最科学）

   • 思路：先明确业务承诺（如可用性99.9%），再反推技术指标。
   • 示例：如果承诺接口响应时间P99 < 200ms，那么告警阈值应设为当P99连续5分钟 > 250ms时触发，预留一定的缓冲空间。

2. 区分“症状”与“原因”

   • 症状（Symptom）：用户能感知到的问题（如：错误率飙升、响应超时）。此类必须告警，且优先级最高。
   • 原因（Cause）：可能导致问题的潜在因素（如：CPU飙高、磁盘快满）。此类可设为低优先级或仅记录，避免直接触发紧急告警。

3. 动态阈值与静态阈值结合

   • 静态阈值：适用于容量明确、波动小的指标（如：磁盘使用率 > 85%）。
   • 动态阈值（智能基线）：适用于波动大的业务指标（如：QPS、流量）。利用算法学习历史规律，自动适应业务周期（如周末流量低、晚高峰流量高），减少人工维护成本。

二、 通用指标阈值参考

以下为常见监控维度的参考阈值，请根据实际业务压测结果调整：

三、 告警规则配置技巧

1. 设置合理的“持续时间”
   • 不要对瞬时波动告警。例如：CPU > 90% 持续2分钟 才触发，过滤掉短暂的批处理任务。
2. 分级告警（Severity）
   • P0（紧急）：核心业务中断、数据丢失风险（电话/短信）。
   • P1（警告）：性能下降、部分功能异常（IM/邮件）。
   • P2（提示）：预测性告警（如磁盘7天内满）（邮件/日报）。
3. 告警收敛与降噪
   • 抑制：当“机房网络中断”触发时，抑制该机房下所有服务器的“网络不通”告警。
   • 聚合：将同一服务的10条“接口超时”聚合为一条“XX服务出现大量超时，请检查”。

四、 避坑指南

• 避免“告警疲劳”：如果一条告警发出后，没人去处理或经常误报，说明阈值设置不合理，应立即调整或删除。无行动，不告警。
• 不要只监控平均值：平均值会掩盖长尾问题。务必关注 P95、P99 分位数。
• 无监控，不发布：新上线功能必须同步配置监控，且阈值应经过压测验证。

五、 进阶：从“监控”到“可观测性”

随着系统复杂度提升，单纯设置阈值已不足够。建议引入 SLO（服务等级目标） 和 错误预算（Error Budget） 的概念。不再单纯盯着CPU或内存，而是关注“过去28天内，用户请求成功率是否低于99.9%”。如果错误预算充足，告警可以宽松；如果预算即将耗尽，告警必须严格。这种基于业务价值的告警策略，能更好地平衡研发效率与系统稳定性。