HBase在CentOS上的数据压缩如何设置

在 CentOS 上配置 HBase 数据压缩

一 核心概念与前提

• 压缩作用于 HBase 的列族（ColumnFamily），可与数据块编码（DATA_BLOCK_ENCODING）同时使用或单独使用。常见编码：NONE、PREFIX、DIFF、FAST_DIFF、ROW_INDEX_V1；常见压缩算法：NONE、GZ、SNAPPY、ZSTD。修改已存在表的压缩/编码后，需在下一次Compaction后才会对既有 HFile 生效。HBase 默认通常内置支持 GZ、SNAPPY、ZSTD（不同发行版/版本可能略有差异）。

二 安装压缩库

• 在 CentOS 节点安装所需本地库，确保 HBase 进程可加载对应编解码器（以 Snappy 为例）：
  • 安装库：sudo yum install -y snappy snappy-devel
  • 如使用 LZO：sudo yum install -y lzo lzo-devel
  • 如使用 ZSTD：安装系统 zstd 开发包（包名因发行版而异，如 zstd 或 libzstd-devel）
  • 让 HBase 识别本地库（常见做法是在 hbase-env.sh 中设置 java.library.path，例如指向 /usr/lib64）。

三 配置与生效方式

• 方式一 全局默认（可选，作用于新创建列族的默认压缩）

  • 编辑 $HBASE_HOME/conf/hbase-site.xml，为 RegionServer 设置默认压缩算法（示例为 SNAPPY）：

    <configuration>
      <property>
        <name>hbase.regionserver.compression.type</name>
        <value>snappy</value>
      </property>
    </configuration>
    

  • 重启 HBase 使全局默认生效：
    • 如使用系统服务：sudo systemctl restart hbase-master hbase-regionserver
    • 或脚本方式：$HBASE_HOME/bin/stop-hbase.sh 与 $HBASE_HOME/bin/start-hbase.sh
  • 说明：全局默认仅影响后续新建的列族；已存在列族需按方式二单独修改。

• 方式二 在列族上显式设置（推荐）

  • 创建表时指定列族压缩与编码（HBase Shell）：

    hbase shell
    create 't1', {NAME => 'f1', COMPRESSION => 'SNAPPY', DATA_BLOCK_ENCODING => 'FAST_DIFF'}
    

  • 修改已有表列族的压缩与编码（HBase Shell）：

    hbase shell
    alter 't1', {NAME => 'f1', COMPRESSION => 'SNAPPY', DATA_BLOCK_ENCODING => 'FAST_DIFF'}
    

  • 提示：对已有数据，压缩/编码变更会在下一次 Compaction 后生效。

四 验证与常见问题

• 验证
  • 在 HBase Shell 查看表/列族配置：

    hbase shell
    describe 't1'
    

    输出中关注 COMPRESSION 与 DATA_BLOCK_ENCODING 字段是否为期望值（如 SNAPPY、FAST_DIFF）。
• 常见问题与排查
  • 启动或运行报 Codec 找不到：确认对应压缩库已安装，并在 hbase-env.sh 正确设置 java.library.path（如 /usr/lib64），确保本地库对 RegionServer 进程可见。
  • 修改后未生效：对存量 HFile 需等待或触发 Compaction 才会使用新的压缩/编码配置。