Debian MongoDB资源占用优化

Debian 上 MongoDB 资源占用优化指南

一 内存与缓存优化

• 调整 WiredTiger 缓存上限：在 /etc/mongod.conf 中设置 storage.wiredTiger.engineConfig.cacheSizeGB，将缓存控制在物理内存的60%–80%，为操作系统与其他进程预留足够内存。示例（64GB 内存）：

  storage:
    wiredTiger:
      engineConfig:
        cacheSizeGB: 48
  

  修改后重启服务生效。若与其他服务共存，应降低该比例以避免系统换页与 OOM。
• 监控与诊断：使用 mongostat、mongotop 观察内存命中、页面错误、读写速率等指标，结合慢查询日志定位高消耗操作与索引缺失问题。
• 工作集控制：通过归档/清理历史数据、压缩与字段精简，尽量让工作集常驻内存，减少磁盘 I/O。

二 存储与文件系统优化

• 使用 SSD/NVMe：随机 I/O 性能显著提升，特别适合高并发与写入密集场景。
• 关闭透明大页（THP）：在 /etc/default/grub 的 GRUB_CMDLINE_LINUX_DEFAULT 中加入 transparent_hugepage=never，执行 sudo update-grub && sudo reboot；或在运行时写入：

  echo never | sudo tee /sys/kernel/mm/transparent_hugepage/enabled
  echo never | sudo tee /sys/kernel/mm/transparent_hugepage/defrag
  

• NUMA 架构：在 NUMA 主机上使用 numactl --interleave=all 启动 mongod，减少跨 NUMA 访问带来的延迟波动。
• 日志与轮转：确保 systemLog.destination: file、logAppend: true，并配置 logRotate: reopen/rename 或使用 logrotate，避免日志无限增长占用磁盘与 I/O。

三 索引与查询优化

• 为高频 find/sort/aggregate 字段建立索引，优先使用复合索引与覆盖索引，减少回表与全表扫描。
• 控制返回数据量：使用 projection 仅返回必要字段，配合 limit()/skip() 实现合理分页，避免深度分页带来的资源浪费。
• 执行计划分析：用 explain() 检查是否走索引、是否发生 COLLSCAN，据此增减或重构索引。
• 降低写放大：避免过度索引（每次写入都会更新索引），定期清理重复/未使用索引，保持索引集精简高效。

四 连接与系统资源限制

• 合理连接数：在 net.maxIncomingConnections 限制最大连接，避免连接风暴；结合应用连接池与超时设置，防止连接泄漏。
• 文件描述符与进程数：在 /etc/security/limits.conf 提升上限，示例：

  * soft nofile 1048576
  * hard nofile 1048576
  * soft nproc  524288
  * hard nproc  524288
  

  并在服务单元或启动脚本中确保以足够权限生效（如 systemd 的 LimitNOFILE）。
• 副本集/分片：在 replication.oplogSizeMB 中为 oplog 预留合理空间（常见为可用磁盘的约5%，可按业务保留窗口调整）；数据规模与工作集超出单机能力时，引入分片横向扩展。

五 快速检查清单与示例配置

• 快速检查清单
  • 监控：部署 mongostat/mongotop，关注 res、page_faults、idx miss、队列与 IOPS。
  • 工作集：评估热点数据与索引规模，必要时归档冷数据、压缩字段、优化文档结构。
  • 连接：核对应用连接池与 maxIncomingConnections，避免连接数远超处理能力。
  • 存储：确认使用 SSD、THP 已关闭、日志轮转已配置、磁盘剩余空间充足。
  • 索引：定期审计索引使用率，删除无效索引，优化复合索引顺序与覆盖性。
• 示例配置片段（/etc/mongod.conf）

  systemLog:
    destination: file
    logAppend: true
    path: /var/log/mongodb/mongod.log
    logRotate: reopen
  
  storage:
    dbPath: /var/lib/mongodb
    wiredTiger:
      engineConfig:
        cacheSizeGB: 48   # 依据总内存与并发调优
  
  net:
    port: 27017
    bindIp: 127.0.0.1,10.0.0.10
    maxIncomingConnections: 4096
  
  replication:
    replSetName: rs0
    oplogSizeMB: 10240   # 依据保留窗口与磁盘容量调整
  

  调整后执行 sudo systemctl restart mongod 并观察日志与监控指标变化。