MongoDB在Linux上的数据压缩策略

MongoDB 在 Linux 上的数据压缩策略

一 压缩范围与版本支持

• 默认存储引擎为 WiredTiger，自 MongoDB 3.2+ 起可用，支持对所有集合与索引进行压缩。集合采用块压缩，索引采用前缀压缩；WiredTiger 的日志（journal）同样支持压缩，默认算法为 Snappy，且当日志记录长度 ≤ 128 字节时不压缩。压缩以额外 CPU换取磁盘占用降低与I/O 减少。
• 压缩算法与版本要点：
  • Snappy：默认；压缩/解压速度快，CPU 开销低，适合写密集或通用场景。
  • zlib：压缩率更高，CPU 开销更高，适合读少写少、存储紧张或归档场景。
  • zstd：自 MongoDB 4.2 起支持；在相近压缩率下，解压速度通常优于 zlib，适合读密集且对 CPU 较敏感的场景。
  • none：禁用压缩；适用于已加密或已压缩的数据（如图片、音视频等不可再压缩二进制）以避免无效 CPU 消耗。

二 关键配置与生效方式

• 集合/索引/日志压缩（WiredTiger 层）

  • 配置文件示例（YAML，Linux 常见路径：/etc/mongod.conf）：

    storage:
      engine: wiredTiger
      wiredTiger:
        collectionConfig:
          blockCompressor: snappy   # 可选：none|snappy|zlib|zstd
        indexConfig:
          prefixCompression: true   # 默认 true
        engineConfig:
          journalCompressor: snappy # 可选：none|snappy|zlib
    

  • 作用与限制：
    • 修改 storage.wiredTiger.collectionConfig.blockCompressor 后，仅对新创建的集合生效；存量集合保持原有压缩设置。
    • 如需对存量集合使用新算法，可通过显式 createCollection(..., { storageEngine: { wiredTiger: { configString: "block_compressor=..." } } }) 重建集合。
    • 索引前缀压缩默认开启，通常无需调整。

• 网络传输压缩（mongod/mongos 之间）

  • 配置示例：

    net:
      compression:
        compressors: snappy,zstd,zlib   # 按优先级降序协商
    

  • 生效与选择：
    • 两端需至少共享一种算法才可启用；默认自 MongoDB 4.2+ 为 snappy,zstd,zlib。
    • 云环境或跨机房建议优先 zstd 以节省带宽；低延迟内网可用 snappy 降低 CPU 开销。

三 场景化策略与选择建议

• 写密集（日志、埋点、实时写入）：优先 Snappy，在保持良好压缩率的同时将写放大与 CPU 开销控制在较低水平。
• 读密集且存储紧张（报表、分析、冷数据）：优先 zstd，通常获得更高压缩率与更快解压速度，综合 I/O 与 CPU 更优。
• 已加密/已压缩的二进制数据（图片、音视频、压缩包）：设为 none，避免二次压缩的无效 CPU 消耗。
• 网络带宽敏感（跨地域、云上多 AZ）：启用网络压缩，优先 zstd，在 CPU 允许的前提下最大化带宽节省。

四 变更与验证步骤

• 规划与评估
  • 明确版本支持（如 zstd 需 4.2+），梳理存量集合与索引的压缩现状与容量目标。
  • 评估 CPU 余量与 I/O 瓶颈，必要时预留峰值与增长空间。
• 配置与滚动升级
  • 编辑 /etc/mongod.conf 中的压缩相关参数，按实例逐台滚动重启以最小化影响。
• 针对存量集合的压缩切换
  • 使用带 storageEngine.configString 的 createCollection 重建集合，或在低峰期通过 mongodump/mongorestore、mongosync 等工具迁移切换。
• 效果验证与监控
  • 观察存储占用变化、CPU 使用率、I/O 等待、复制/迁移吞吐与延迟。
  • 关键指标与工具：
    • 存储与压缩：WiredTiger 统计（db.serverStatus().wiredTiger）与文件系统容量。
    • 性能与健康：mongostat、mongotop、db.serverStatus() 的缓存命中率与页面读写情况。

五 常见误区与注意事项

• 压缩并非“越多越好”：压缩以 CPU 为代价，需结合负载与容量目标权衡；不可压缩数据请禁用压缩。
• 修改 blockCompressor 不回溯存量集合：仅影响新建集合；存量集合需重建或迁移。
• 网络压缩需两端兼容：确保客户端、mongos、mongod 支持并启用相同算法列表。
• 索引前缀压缩默认开启且通常无需更改；如无特殊需求不建议关闭。