如何判断监控指标异常

判断监控指标异常，通常要结合指标特征、历史规律、业务上下文和检测方法综合来看。下面给出一个从“基础认知 → 常用判断方式 → 实操流程 → 常见误区”的系统说明。

一、先明确：什么是“异常”

在监控里，异常一般不是“数值大/小”，而是：

• 偏离正常规律（同比、环比、历史区间）
• 影响业务目标（可用性、性能、成本、安全）
• 不可解释或无业务原因支撑

例如：

• CPU 90% 在压测时是正常
• CPU 90% 在凌晨低峰是异常

二、常用判断方式（从简单到高级）

1. 静态阈值法（最基础）

设定固定上下限：

• CPU > 90%
• 错误率 > 1%
• 磁盘 > 85%

✅ 优点：简单、易实施
❌ 缺点：不区分时段、易误报/漏报

适合：

• 资源水位（磁盘、内存）
• 强约束指标（SLA 错误率）

2. 同环比 / 历史对比

• 同比：今天 vs 上周同一时间
• 环比：现在 vs 近 1 小时
• 历史分位数：P95 / P99

示例：

• 请求量下降 70%（无发版、无节假日）→ 异常
• 延迟 P99 从 200ms 升到 800ms → 异常

✅ 适合：有周期性的业务指标

3. 统计异常检测

基于分布判断：

• 均值 ± 3σ
• 箱线图（IQR）
• 移动平均 + 标准差

适合：

• 流量、延迟、QPS
• 指标较平稳时效果好

4. 时间序列预测 / 动态基线

用历史训练“正常形态”：

• Holt-Winters
• Prophet
• EWMA

系统自动知道：

• 白天高、凌晨低
• 大促日特殊

✅ 大幅减少误报
❌ 实现成本较高

5. 多指标关联判断（很重要）

单指标异常 ≠ 真异常。

例子：

• 错误率 ↑ + 流量 ↓ → 可能下游挂了
• 延迟 ↑ + CPU ↓ → 可能锁等待
• 内存 ↑ + GC 时间 ↑ → JVM 问题

✅ 推荐用：根因分析 + 拓扑关联

6. 业务语义判断（最可靠）

结合业务动作：

• 是否发版？
• 是否压测？
• 是否大促？
• 是否机房切换？

很多时候：

“指标异常，但业务正常” → 不算异常

三、实操判断流程（推荐）

1. 看指标是否超阈值
2. 看历史是否常见
3. 看是否有业务事件
4. 看关联指标是否异常
5. 判断是否影响用户/SLA
6. 确认是否需告警/处理

四、常见误区

• ❌ 只看 CPU、内存
• ❌ 阈值一成不变
• ❌ 告警=异常（可能是噪声）
• ❌ 忽略“缺失数据”也是一种异常

五、简单总结一句话

异常 = 指标偏离正常规律 + 无合理解释 + 可能影响业务

如果你愿意，可以告诉我：

• 监控对象（服务器 / 应用 / 业务）
• 指标类型（CPU / 延迟 / 订单）
• 当前使用的工具（Prometheus / Grafana / 自研）

我可以直接帮你设计异常判断规则或告警策略。