键值存储如何做集群

键值存储（Key-Value Store）做集群，核心目标是水平扩展、高可用、数据均衡、容错。下面从架构思路 → 数据分片 → 复制与一致性 → 集群管理 → 典型实现几个层面系统说明。

一、键值存储集群的核心问题

1. 数据如何分布到多台机器（分片 / Sharding）
2. 某台机器挂了怎么办（复制 / Replication）
3. 如何找到 key 在哪台机器（路由 / 寻址）
4. 扩缩容时数据如何迁移
5. 一致性与性能如何权衡

二、数据分片（Sharding）方式

1. 哈希分片（最常见）

node = hash(key) % N

优点：

• 简单、均衡
• 查询快

缺点：

• 节点数 N 变化 → 大量数据迁移

✅ 改进：一致性哈希（Consistent Hashing）

2. 一致性哈希（Consistent Hashing）

• 把节点和 key 都 hash 到「环」上
• key 顺时针找最近节点
• 节点增减只影响相邻数据

✅ 常用于：

• Redis Cluster
• DynamoDB
• Cassandra（变体）

3. 范围分片（Range Sharding）

a–m → Node1
n–z → Node2

优点：

• 范围查询友好

缺点：

• 容易热点

✅ 用于：

• HBase
• TiKV（底层）

4. 哈希槽（Hash Slot，Redis 风格）

16384 slots
key → slot → node

• 槽是“逻辑分片”
• 节点管理槽
• 扩缩容只迁移槽

三、复制与高可用

1. 主从复制（Master-Slave）

Master → Slave(s)

• 写主，读从
• 主挂需要故障转移

✅ Redis 经典模式

2. 多副本（Replica Set）

• 每个分片有多个副本
• 一主多从或多主

✅ etcd / MongoDB / Cassandra

3. 一致性模型

四、集群管理与路由

1. 客户端路由

• 客户端知道分片规则
• 直连对应节点

✅ Redis Cluster

2. 代理层（Proxy）

Client → Proxy → Node

• 对客户端透明
• 易运维

✅ Codis（Redis） ✅ Twemproxy

3. 元数据服务（Meta Server）

• 专门存“key → node”映射
• 节点变化只改元数据

✅ HBase / TiKV / Bigtable

五、故障与扩缩容

扩容

1. 新节点加入
2. 重新分配分片 / 槽
3. 增量迁移数据
4. 更新路由

缩容 / 故障

• 副本提升为主
• 数据重新平衡
• 客户端自动重试

六、典型键值存储集群方案对比

七、一个简化集群架构示例

        Client
           |
     Proxy / SDK
           |
  -----------------
  |   |   |   |   |
Node1 Node2 Node3 Node4
  |     |     |     |
Replica Replica Replica Replica

• 数据按 key 分片
• 每片 3 副本
• 元数据服务管路由
• 节点故障自动切换

八、设计建议（实用）

• 小规模：Redis Cluster / 主从 + Sentinel
• 大规模：一致性哈希 + 多副本
• 强一致需求：Raft / Paxos 类（etcd / TiKV）
• 高吞吐：最终一致 + 多副本

如果你愿意，我可以：

• 用 Redis / etcd / Cassandra 具体讲
• 画一张 集群架构图
• 给你一个 最小可用 KV 集群设计示例（含代码思路）

你想深入哪一块？