MongoDB在Linux上的内存配置技巧

MongoDB 在 Linux 上的内存配置技巧

一 核心原则与容量规划

• 明确目标：尽量让**工作集（索引 + 热点数据）**常驻内存，WiredTiger 只负责缓存，操作系统页缓存会继续加速文件访问。若数据远大于内存，优先保障热数据与索引。内存规划可简化为：内存 > 索引 + 热数据。
• 单实例默认：WiredTiger 缓存默认约为可用物理内存的 50%；当同一主机运行多个实例或容器时，应为每个实例单独下调该值，避免总缓存超出物理内存。
• 容器与虚拟化：在 cgroups/Docker/K8s 中，容器可见内存通常小于物理机内存，需按容器配额设置缓存上限，避免 OOM 或性能劣化。

二 MongoDB 层关键配置

• 设置 WiredTiger 缓存上限：在配置文件 /etc/mongod.conf 中设置 storage.wiredTiger.engineConfig.cacheSizeGB，单位为 GB。示例（将缓存限制为约 4GB）：
  storage: wiredTiger: engineConfig: cacheSizeGB: 4
  建议值：单机单实例可保留默认（约 50%），多实例或同机有其他服务时按“实例可用内存的 40%–60%”取值，并预留给操作系统与文件系统缓存。
• 调整内存相关查询限制（可选）：通过 setParameter 限制排序/聚合等内存用量，避免单次操作过度占用内存。示例：
  db.setParameter({ internalQueryExecMaxBlockingSortBytes: 104857600, // 100MB internalQueryExecMaxMemoryUsageMB: 512 // 512MB })
• 监控缓存命中与压力：在 shell 中查看 WiredTiger 缓存状态：
  db.serverStatus().wiredTiger.cache
  关注 bytes currently in the cache、cache overflow、pages evicted by application 等指标，判断缓存是否不足或压力过大。

三 Linux 层内核与资源管理

• 降低换页倾向：将 vm.swappiness 调低以减少 swap 使用（如设为 10），避免数据库抖动；仅在确保内存充足且追求极致稳定性时再考虑更低甚至为 0。
• 内存过量使用策略：将 vm.overcommit_memory 设为 2 可降低内存超卖导致的风险（更保守的内存分配策略）。
• 透明大页（THP）：建议禁用 THP，以减少内存碎片与延迟波动。
• 使用 cgroups/容器限制：在 systemd slice、Docker/K8s 资源限制中设置内存上限，作为 MongoDB 缓存上限之外的“硬边界”。
• swap 取舍：开启 swap 可在内存紧张时避免 OOM，但会带来明显变慢；关闭 swap 可能触发 OOM killer。生产上更推荐“规划足够内存 + 监控告警 + 必要时扩容”，而非依赖 swap 保活。

四 监控与常见场景建议

• 监控工具与指标：
  • MongoDB：mongostat --all、mongotop 观察操作与读写热点；db.serverStatus().wiredTiger.cache 观察缓存命中与回收。
  • 系统：top/htop、vmstat 1、free -m 观察内存、swap、si/so、wa 等。
• 场景化建议：
  • 单机多实例：按“实例可用内存的 40%–60%”分别设置 cacheSizeGB，并预留内存给 OS 与其他服务。
  • 工作集超出内存：优先优化索引与查询（覆盖索引、避免无索引排序/聚合）、降低返回字段、分页/游标批量处理，必要时引入分片横向扩展。
  • 连接数较多：连接本身会占用内存，结合业务并发合理设置 maxIncomingConnections，避免无谓连接堆积。
  • 避免通过频繁重启“释放内存”：重启会使 WiredTiger 缓存失效，带来短时性能回退，应通过容量规划与查询优化解决根因。