CentOS如何解决MongoDB内存溢出问题

CentOS下MongoDB内存溢出处理与优化

一、先判断是否为真正的内存问题

• 使用系统监控确认压力来源：free -m、top/htop、vmstat 1 10，观察 available 是否长期偏低、si/so（swap 换入/换出）是否持续不为 0，以及 mongod RES 是否逼近或超过物理内存。
• 使用 MongoDB 自带工具：mongostat --all（关注 mem.resident、qr/qw、faults）、mongotop（关注集合读写耗时），定位是否存在慢查询、全表扫描或连接堆积。
• 查看日志：/var/log/mongodb/mongod.log，若出现 WT_PANIC / Cannot allocate memory / out of memory，多为 WiredTiger 缓存或系统内存不足导致的异常。
• 理解 WiredTiger 内存模型：未显式设置 storage.wiredTiger.engineConfig.cacheSizeGB 时，WiredTiger 默认大约会使用 (系统内存 − 1GB) / 2；设置该参数后，WiredTiger 缓存上限约为 cacheSizeGB − 1GB。注意：WiredTiger 缓存只是 MongoDB 内存的一部分，查询、排序、连接栈等仍会占用额外内存，因此限制 cache 并不能完全阻止进程 RSS 上升。

二、立即可用的缓解措施

• 限制 WiredTiger 缓存（示例为 4GB）：编辑 /etc/mongod.conf
  storage: wiredTiger: engineConfig: cacheSizeGB: 4
  调整后重启：systemctl restart mongod。该值应小于机器可用内存，并预留给操作系统与其他进程。
• 限制服务内存（systemd）：systemctl set-property mongod MemoryLimit=8G（服务名可能为 mongod 或自定义），用于触发 OOM killer 前的内存上限保护。
• 降低内存压力的参数化手段（按需）：
  • 增大排序内存阈值：db.adminCommand({setParameter:1, internalQueryExecMaxBlockingSortBytes: 104857600})（示例 100MB）。
  • 降低聚合/查询内存上限：db.adminCommand({setParameter:1, internalQueryExecMaxMemoryUsageMB: 512})（示例 512MB）。
• 临时“释放”页缓存（仅用于应急，不建议频繁）：sync && echo 3 > /proc/sys/vm/drop_caches。这会清理 pagecache/dentries/inodes，可能短时降低 RSS，但会引入额外磁盘 IO，且并不能解决根本的内存压力。
• 紧急恢复：当已出现 OOM/crash 或严重卡顿时，可在维护窗口执行 systemctl restart mongod 快速恢复服务可用性。

三、根因治理与配置优化

• 查询与索引治理：
  • 为高频 sort / group / match 字段建立合适索引，避免内存排序与全表扫描。
  • 对超过内存阈值的聚合/排序，优先通过索引或改写查询降低内存占用。
• 连接与资源控制：
  • 控制应用连接池大小，避免连接风暴；结合 mongostat 观察 qr/qw 队列是否堆积。
• 工作集与容量规划：
  • 让 working set（热数据）尽量能容纳在 WiredTiger 缓存中；若数据远大于内存，优先考虑 分片 或 读写分离/副本集读从 来分摊内存与 IO。
• 系统层面优化（谨慎调整）：
  • 适度降低 vm.swappiness（如 10），减少换页倾向：sysctl vm.swappiness=10。
  • 结合环境评估 vm.overcommit_memory（如 2），降低内存过度承诺带来的 OOM 风险：sysctl vm.overcommit_memory=2。修改后写入 /etc/sysctl.conf 持久化。

四、参数建议与容量示例

• 若服务器内存为 16GB，建议将 WiredTiger 缓存上限设置为约 7–8GB（示例 7GB）：cacheSizeGB: 7。计算公式：WiredTiger 可用缓存 ≈ cacheSizeGB − 1GB；未设置时约为 (16 − 1)/2 = 7.5GB。
• 若服务器内存为 32GB，建议 cacheSizeGB 设为 14–15GB（示例 14GB），为操作系统与其他进程预留充足内存。
• 若与其他服务混部，务必通过 MemoryLimit 或容器/虚拟化限制 MongoDB 可用内存，避免与业务进程争抢内存。

五、快速排查清单

• 执行 free -m、top/htop、vmstat 1 10，确认是否真实内存紧张与 swap 抖动。
• 执行 mongostat --all、mongotop，定位慢查询、全表扫描、连接堆积。
• 检查 mongod.log 是否存在 WT_PANIC / out of memory 等致命错误。
• 核对 cacheSizeGB 是否合理，是否预留足够系统内存。
• 复核索引与查询计划，消除内存排序与全表扫描。
• 如仍异常，结合 systemctl status mongod、coredump 与慢查询日志进一步定位。