以下是CentOS下HBase性能调优的关键策略,涵盖硬件、系统、配置及监控层面:
vm.swappiness=0。vm.dirty_ratio和vm.dirty_background_ratio(如50%),减少磁盘写入延迟。-Xms/-Xmx,建议占物理内存50%-70%),并开启G1 GC(-XX:+UseG1GC)。hbase.regionserver.global.memstore.size(默认0.4,写密集型可调至0.45-0.5)。hfile.block.cache.size(默认0.4,读密集型可增至0.5-0.6),启用BucketCache+SSD存储索引块。hbase.hregion.compress。SPLITS参数均匀划分Region。hbase.hregion.majorcompaction=0)。批量Get和批量Put接口,减少RPC调用次数。hbase.client.scanner.caching(默认1,建议100-500),避免全表扫描。hbase.master.loadbalance.bytable=true),手动迁移热点Region。| 场景 | 参数 | 推荐值 | 说明 |
|---|---|---|---|
| 读密集型 | hfile.block.cache.size |
0.5-0.6 | 增大读缓存比例 |
| 写密集型 | hbase.regionserver.handler.count |
100-200 | 提升并发处理能力 |
| 压缩 | hbase.hregion.compress |
SNAPPY | 平衡压缩比与CPU消耗 |
注:调优需结合业务场景(如读写比例、数据规模)逐步验证,优先通过监控定位瓶颈再针对性调整。