Linux MongoDB内存管理策略

Linux 上 MongoDB 内存管理策略

一 核心机制与默认行为

• 自 MongoDB 3.2+ 起默认使用 WiredTiger 存储引擎，其缓存采用 LRU 管理，并通过后台线程进行页面驱逐（eviction）。WiredTiger 缓存的默认上限为：max(50% RAM − 1GB, 256MB)。例如：总内存 4GB 时默认约 1.5GB；总内存 1.25GB 时默认 256MB。WiredTiger 缓存之外，MongoDB 还会为连接、索引、排序/聚合等分配额外内存，因此进程常驻内存（RSS）通常高于缓存上限。监控方面，可通过 db.serverStatus().wiredTiger.cache 查看缓存命中、脏页等指标，通过 mongostat 观察 used/dirty 等运行时状态。

二 配置 WiredTiger 缓存上限

• 在配置文件中显式设置缓存上限（单位 GB），例如将缓存限制为 4GB：

  storage:
    wiredTiger:
      engineConfig:
        cacheSizeGB: 4
  

  修改后需重启 mongod 生效。也可在运行时动态调整（部分版本支持）：

  db.adminCommand({ setParameter: 1, "wiredTigerEngineRuntimeConfig": "cache_size=2GB" })
  

  建议将缓存上限控制在实例可用内存的合理比例（如不超过物理内存的50%~60%），为操作系统页缓存、连接与查询操作预留空间。若发现性能受限于缓存命中，再结合工作集大小适度上调。

三 操作系统层面的优化

• 降低换页倾向：将 vm.swappiness 设为 1~10（尽量避免 swap，同时避免设置为 0 导致 OOM 时直接 kill 进程）。
• 透明大页（THP）：建议关闭，减少对数据库随机访问的干扰。

  echo never > /sys/kernel/mm/transparent_hugepage/enabled
  echo never > /sys/kernel/mm/transparent_hugepage/defrag
  

• 资源限制与连接开销：提升 ulimit -n/-u（文件描述符与进程/线程数），并适度降低 stack size（ulimit -s） 以减少每个连接的内存开销；生产环境常见将 open files 设置为 ≥100000。
• 文件系统与挂载：WiredTiger 场景优先使用 XFS，并挂载时加上 noatime,nodiratime 减少元数据开销。
• NUMA 架构：在 NUMA 主机上以 numactl --interleave=all 方式启动 mongod，缓解跨 NUMA 访问带来的性能波动。

四 监控与调优动作

• 关键指标与阈值

  • 存储引擎缓存使用率：当 used 接近 95% 时，通常意味着负载高、命中率下降，应优先排查慢查询/索引缺失并考虑扩容。
  • 脏页占比：当 dirty 持续超过 20% 时，可能阻塞用户线程，应控制写入速率、提升节点内存或适当增加 WiredTiger 的 eviction 线程（副本集 4.0+ 可用）：

    db.runCommand({
      setParameter: 1,
      "wiredTigerEngineRuntimeConfig": "eviction=(threads_max=8,threads_min=4)"
    })
    

  • 运行时观测：使用 mongostat 查看 used/dirty/flushes 等；使用 db.serverStatus().wiredTiger.cache 查看 bytes currently in the cache、bytes dirty in the cache 等细节。

• 查询与资源控制

  • 限制内存密集型操作：例如将 internalQueryExecMaxBlockingSortBytes 设为 100MB、将 internalQueryExecMaxMemoryUsageMB 设为 512MB，避免单条操作耗尽内存。
  • 降低连接内存压力：减少不必要的连接、复用连接池，并优化索引使常见查询走索引，降低排序/聚合的内存占用。

• 架构层面扩展

  • 当单机内存与 I/O 成为瓶颈时，结合业务特点引入 分片（sharding） 或 副本集（replica set），将数据与工作集分散到多节点，缓解单实例内存压力。