怎样监控键值存储状态

监控键值（Key-Value）存储的状态，核心目标是掌握性能、容量、可用性和数据一致性。下面按「监控维度 → 常用指标 → 工具与手段 → 实践建议」来说明，适用于 Redis、RocksDB、etcd、Consul、TiKV 等典型 KV 存储。

一、监控的核心维度

1. 可用性与健康状态

• 服务是否可达（ping / health check）
• 节点角色（leader / follower / master / replica）
• 集群是否发生脑裂、重新选主
• 故障切换（failover）是否成功

关键指标

• 节点存活状态
• 健康检查成功率
• 选主频率 / 延迟

2. 容量与存储状态

• 总键值数量
• 内存 / 磁盘使用量
• 单实例或单节点容量上限
• 数据增长速率

关键指标

• keyspace size
• memory used / disk used
• compaction 状态（LSM 类如 RocksDB）

3. 性能与延迟

• 读写 QPS
• P99 / P95 延迟
• 慢查询
• 锁等待、IO 等待

关键指标

• GET / PUT / DELETE 延迟
• 命令执行耗时
• 网络与磁盘 IO

4. 数据一致性与正确性

• 主从同步延迟
• 数据丢失或重复
• 校验和（checksum）异常
• 副本不一致

关键指标

• replication lag
• 数据校验失败次数
• 写入确认数（quorum）

5. 异常与风险

• 热点 Key
• 大 Key / 大 Value
• 过期 Key 堆积
• 连接数暴涨

二、按存储类型看监控重点

Redis

• INFO 命令
• 内存、命中率、淘汰策略
• 慢日志（slowlog）
• 大 key 扫描（redis-cli --bigkeys）

etcd / Consul

• raft 状态
• leader 变更
• wal / snapshot 大小
• 请求延迟

RocksDB / TiKV

• compaction 次数与耗时
• SST 文件数量
• bloom filter 命中率
• 写放大

三、常用监控工具

通用方案

• Prometheus + Grafana（最主流）
• Alertmanager（告警）
• Exporter
  • redis_exporter
  • etcd_exporter
  • node_exporter（机器层）

日志与链路

• ELK / Loki（日志）
• OpenTelemetry（分布式追踪）

自建探测

• 定时 Probe：写→读→删，验证可用性
• 业务埋点：KV 操作耗时、失败率

四、典型监控架构示例

KV 存储
   ↓ exporter
Prometheus
   ↓
Grafana（可视化）
   ↓
Alertmanager（告警）

五、实践建议（很重要）

1. 不要只监控“是否存活”
   • 半死不活比宕机更危险
2. 设置分层告警
   • 警告（如延迟升高）
   • 严重（如主从断裂）
3. 定期做数据校验
   • 抽样比对 key / checksum
4. 容量要留余量
   • 内存类 KV 建议 < 70%
5. 关注“隐性风险”
   • 大 key、热 key、写放大

如果你能告诉我：

• 用的是哪种 KV（Redis / etcd / RocksDB / 自研）
• 单机还是集群
• 云上还是私有化

我可以直接给你对应的监控指标清单和 Grafana 面板建议。