Java Service服务：如何实现监控告警

Java 服务监控告警落地方案

一 架构与工具选型

• 指标采集与存储：使用 Prometheus 以 Pull 模式抓取指标，搭配 Grafana 做可视化与面板展示。
• 应用埋点与暴露：在 Spring Boot 中通过 Actuator + Micrometer 暴露 /actuator/prometheus 指标端点；非 Spring 应用可用 Prometheus Java Agent 暴露 JVM 指标。
• 日志与链路：日志用 ELK（Elasticsearch/Logstash/Kibana） 或 EFK；分布式追踪用 Zipkin/Jaeger，便于将“接口慢”与“GC/数据库/缓存”关联定位。
• 告警路由：用 Alertmanager 做去重、分组、静默与路由，通知渠道可选 邮件、钉钉、企业微信、Webhook 等。
• 非侵入补充：对遗留系统或第三方组件，可通过 JMX Exporter 将 JMX 指标转为 Prometheus 格式。

二 Spring Boot 快速接入示例

• 依赖（Maven）

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
  <groupId>io.micrometer</groupId>
  <artifactId>micrometer-registry-prometheus</artifactId>
</dependency>

• 配置（application.yml）

management:
  endpoints.web.exposure.include: health,info,prometheus
  endpoint.prometheus.enabled: true
  metrics.export.prometheus.enabled: true

• 业务埋点（示例）

import io.micrometer.core.annotation.Timed;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class HelloController {
    @Timed(value = "hello.request.time", description = "Time taken to return hello")
    @GetMapping("/hello")
    public String hello() {
        return "Hello, World!";
    }
}

• 验证：访问 /actuator/prometheus 应能看到以 jvm_/http_server_requests_seconds_/process_cpu_seconds_total 等命名的指标。

三 告警规则与通知配置

• Prometheus 规则示例（rules.yml）

groups:
- name: java-app
  rules:
  - alert: HighHeapUsage
    expr: (jvm_memory_used_bytes{area="heap"} / jvm_memory_max_bytes{area="heap"}) * 100 > 85
    for: 10m
    labels:
      severity: critical
    annotations:
      summary: "High heap memory on {{ $labels.instance }}"
      description: "Heap usage is {{ $value | humanizePercentage }} for >10m."

  - alert: HighErrorRate
    expr: rate(http_server_requests_seconds_count{status=~"5.."}[5m]) / rate(http_server_requests_seconds_count[5m]) > 0.01
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High 5xx error rate on {{ $labels.instance }}"
      description: "Error rate is {{ $value | humanizePercentage }} over 5 minutes."

  - alert: HighCpuUsage
    expr: avg by(instance)(rate(container_cpu_usage_seconds_total{image!="",container!="POD"}[5m])) > 0.8
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: "High CPU usage on {{ $labels.instance }}"
      description: "CPU usage > 80% for >10m."

• Prometheus 启用告警规则与 Alertmanager

# prometheus.yml
rule_files:
  - "rules.yml"

alerting:
  alertmanagers:
    - static_configs:
      - targets:
        - alertmanager:9093

• Alertmanager 路由与通知（示例）

# alertmanager.yml
route:
  receiver: 'team-alerts'
  group_by: ['alertname', 'instance']
  group_wait: 10s
  group_interval: 5m
  repeat_interval: 4h

receivers:
  - name: 'team-alerts'
    email_configs:
      - to: 'team@example.com'
        from: 'alertmanager@example.com'
        smarthost: 'smtp.example.com:587'
        auth_username: 'user'
        auth_password: 'pass'
    webhook_configs:
      - url: 'https://oapi.dingtalk.com/robot/send?access_token=YOUR_TOKEN'
        send_resolved: true

• 钉钉机器人要点：使用 Webhook，消息体需包含 msgtype: “text” 与 content 字段；建议将告警级别、摘要与实例标签一并发送，便于群内快速响应。

四 非 Spring 应用与 Kubernetes 部署要点

• 非 Spring 应用接入
  • 方式 A：使用 Prometheus Java Agent 暴露 JVM 指标
    • 启动参数示例：java -javaagent:/opt/jmx_prometheus_javaagent.jar=8080:/opt/jmx_config.yml -jar app.jar
    • 在 jmx_config.yml 中按需采集 java.lang<HeapMemoryUsage|NonHeapMemoryUsage> 等 MBean。
  • 方式 B：直接在代码中启动 HTTPServer 暴露 /metrics
    • 依赖：simpleclient / simpleclient_hotspot / simpleclient_httpserver
    • 代码示例：

      import io.prometheus.client.*;
      import io.prometheus.client.hotspot.DefaultExports;
      public class MetricsApp {
          public static void main(String[] args) throws Exception {
              CollectorRegistry registry = new CollectorRegistry();
              DefaultExports.initialize();
              new HTTPServer(new InetSocketAddress(1234), registry);
          }
      }
      

• Kubernetes 落地
  • 服务发现：为 Pod 添加注解 prometheus.io/scrape: “true”、prometheus.io/port: “8080”，Prometheus 通过 Kubernetes SD 自动抓取。
  • 资源与数据：为 Prometheus 设置 –storage.tsdb.retention.time=30d 等保留策略，控制磁盘占用。

五 异常分级与落地建议

• 异常分级与处置建议

  异常级别	触发场景	日志级别	建议告警方式	HTTP 状态码
  业务异常	参数校验、业务规则冲突	WARN	通常不告警，记录与埋点	400
  认证授权异常	未登录、权限不足	WARN	通常不告警，审计记录	401/403
  依赖服务异常	下游超时/失败、熔断	ERROR	即时告警（钉钉/短信）	503
  系统异常	DB/中间件不可用、空指针	ERROR	紧急告警（电话/PagerDuty）	500
  未知异常	未捕获运行时异常	ERROR	紧急告警（电话/PagerDuty）	500

• 实施要点
  • 在 @ControllerAdvice 中按异常类型分流，业务异常仅记录与计数，依赖/系统异常触发告警；为告警附加上下文（instance、path、trace_id）。
  • 为告警设置合理 for 与 group_interval，避免抖动；为不同级别配置不同 receiver（如 P1 走电话，P2 走钉钉）。
  • 将 业务指标（如订单成功率、支付转化率）与 JVM/系统指标 同屏展示，便于根因分析。