centos hbase如何进行容量规划

容量规划总览与关键公式

• 规划顺序建议：先定业务规模与SLA → 估算数据量与增长 → 确定副本与保留策略 → 计算存储与内存 → 反推节点数与规格 → 留出安全余量。
• 核心容量关系式（用于校验磁盘与堆内存是否匹配）：
  • 公式：Disk Size / Java Heap = RegionSize / (MemstoreSize × ReplicationFactor × HeapFractionForMemstore)
  • 含义：同一台 RegionServer 上，磁盘能容纳的 Region 数量 与堆内可用于 MemStore 的容量需匹配，避免写放大或堆溢出。
  • 常用取值参考：RegionSize=10–20GB（常见 10GB）、MemstoreSize=128–256MB、ReplicationFactor=3、HeapFractionForMemstore≈0.4。
  • 例：Disk=10TB、Heap=64GB、Region=10GB、Rep=3、Mem=128MB、Frac=0.4，则
    • 磁盘侧可放 Region 数：10TB/(10GB×3)≈333；
    • 堆侧可放 Region 数：64GB×0.4/(128MB/2)=400；
    • 结论：磁盘是瓶颈，需增加磁盘或减少每台 RS 的 Region 数（增大 Region 或降低 Region 数）。

存储容量估算步骤

1. 明确数据规模与增长：日增数据量 D（GB/日）、保留天数 R（天）、列族数（尽量 ≤3）、版本数（合理设置，避免无限增长）、TTL（生命周期）。
2. 计算原始数据量：RawGB = D × R。
3. 计算 HDFS 占用：HDFSGB = RawGB × ReplicationFactor（常见 3）。
4. 估算压缩后数据量：CompressedGB ≈ HDFSGB × CompressionRatio（启用 Snappy/LZO 可显著降低体积，具体取决于数据特征）。
5. 计入 WAL 与临时空间：每台 RegionServer 的 HLog 会额外占用空间，经验上需预留若干 GB 到数十 GB（取决于 maxlogs、块大小与写入速率）；同时考虑 Major Compaction 的临时膨胀与回收窗口。
6. 预留安全余量：建议整体预留 20%–30% 作为增长与临时空间缓冲。
7. 汇总单台 RS 容量需求并反推节点数：RSNeeded ≈ ceil(TotalCompressedGB / UsableDiskPerRS)，并结合内存与 CPU 能力综合选型。

内存与 Region 数量规划

• 堆内内存划分：将 MemStore 上限比例控制在约 40%（如 hbase.regionserver.global.memstore.size≈0.4），其余用于 BlockCache 与开销；避免堆过大导致 GC 停顿与收益递减。
• Region 数量与大小：单台 RegionServer 建议承载 20–200 个 Region，单 Region 大小 10–20GB 更利于负载均衡与运维；避免过小（调度与文件数过多）或过大（拆分与恢复慢）。
• WAL 与阻塞阈值校验：确保 hbase.regionserver.global.memstore.size ≤ hbase.regionserver.hlog.blocksize × hbase.regionserver.logroll.multiplier × hbase.regionserver.maxlogs，否则易触发全局写阻塞。例如：HLog 块 128MB、滚动倍数 0.95、maxlogs 32，则阈值≈4TB；若单 Region 10GB 且 MemStore 占比 0.4，则 RS 级 MemStore 上限≈4TB，远大于单 Region 贡献，安全。
• 快速校核示例：Heap=64GB、Frac=0.4、Mem=128MB，则堆内可支持 MemStore 总量≈25.6GB，可承载 Region 数≈25.6GB / 0.128GB ≈ 200（与建议上限一致）。

CPU 网络与节点规格建议

• CPU：HBase 对 CPU 较敏感（压缩/解压、Compaction、RPC 处理等），核数越多越好；建议选择高主频多核机型，避免成为瓶颈。
• 存储：优先 SSD/NVMe 或高性能磁盘阵列，提升随机 I/O 与 Compaction 吞吐；容量与 IOPS 需同时满足。
• 网络：大数据量场景建议使用 万兆网卡（千兆易打满，影响写入与复制）；跨机房或远距离复制需评估带宽与时延。
• 内存：RegionServer 常见 64–128GB 即可，关键在于合理划分 MemStore/BlockCache 与控制 Region 数量，而非一味加内存。

表设计与运维策略对容量的影响

• 表设计：进行 预分区 避免热点；避免递增 RowKey（采用哈希/随机前缀）以均衡分布；列族尽量 ≤3；合理设置 最大版本数 与 TTL 控制历史数据膨胀。
• 压缩与块大小：启用 Snappy/LZO 压缩；根据访问模式将 HFile 块大小调至 64–128KB（随机读多可偏小，顺序扫多可偏大），降低 I/O 与存储占用。
• Compaction 与文件数：合理触发 Minor/Major Compaction，减少 StoreFile 数量，避免读放大与文件句柄压力；结合业务窗口执行 Major 合并，降低峰值影响。
• 内存与缓存：启用 MSLAB 降低 MemStore 内存碎片；开启 Bloom Filter 减少无效扫描；结合 BlockCache 策略提升读命中率。