如何在Ubuntu上优化MongoDB查询性能

Ubuntu上优化MongoDB查询性能

一 硬件与操作系统层优化

• 使用SSD/NVMe替代HDD，显著降低I/O时延；为MongoDB提供充足内存，WiredTiger以内存映射与缓存加速查询与排序。
• 在Ubuntu上禁用透明大页（THP），避免长尾延迟与抖动：创建systemd服务将/sys/kernel/mm/transparent_hugepage/enabled与defrag设为never，并启用该服务。
• 调整资源限制与内核参数（如/etc/security/limits.d/mongodb.conf设置nofile、nproc），防止连接、句柄耗尽。
• 保持MongoDB为最新稳定版，及时获得查询优化与缺陷修复。

二 存储引擎与内存配置

• 生产环境优先使用WiredTiger存储引擎（压缩与并发表现更优）。
• 合理设置WiredTiger缓存：在/etc/mongod.conf中配置storage.wiredTiger.engineConfig.cacheSizeGB，通常将可用内存的**70%–80%**分配给缓存（需结合实例上其他服务与系统开销综合评估，避免OOM）。
• 适度调整网络与连接：net.maxIncomingConnections等参数需与业务并发、ulimit及驱动连接池匹配，避免连接风暴与排队。

三 索引设计与查询优化

• 为高频查询路径建立合适的索引：
  • 单键索引：db.coll.createIndex({field: 1})
  • 复合索引：遵循ESR规则（Equality → Sort → Range），如{a:1, b:1, c:-1}可优化a=1且按b升序、c降序的查询。
  • 文本索引：{desc: "text"}用于关键词检索。
• 利用覆盖查询减少回表：仅返回索引字段，且注意默认会返回_id，需显式排除或加入索引。
• 分析执行计划与慢查询：
  • 使用explain("executionStats")查看totalDocsExamined、totalKeysExamined、nReturned，目标是降低扫描量并提升命中率。
  • 关注慢日志中的COLLSCAN（全表扫描）与IXSCAN但keysExamined过大等信号，优先补齐或重构索引。
• 优化排序与分页：
  • 多字段排序需与索引方向一致（如{a:1, b:-1}）。
  • 大数据量分页避免大偏移的skip/limit，改用基于游标的分页（记录上一页的排序键/时间戳）。
• 其它要点：
  • 使用投影仅返回必要字段。
  • 对$or子句分别建立索引。
  • 必要时用hint()固定索引用于验证或特殊场景。
  • 删除冗余/低效索引，降低写放大与内存占用。

四 监控、诊断与维护

• 实时监控：使用mongostat、mongotop观察吞吐、锁、页错误与热点集合/操作。
• 慢查询与剖析：
  • 配置slowOpThresholdMs（如100ms）记录慢操作；必要时开启operationProfiling或将日志级别临时调高以定位问题。
  • 在/var/log/mongodb/mongod.log中检索COMMAND与执行时间，或使用logRotate轮转日志便于离线分析。
• 索引使用与碎片治理：
  • 定期用db.collection.getIndexes()与执行计划检查索引命中与覆盖情况。
  • 对高更新/删除负载的集合，按需执行reIndex()或使用compact收缩与整理碎片（注意锁与窗口期）。

五 快速检查清单与示例

• 检查清单
  • 已使用SSD、合理内存与禁用THP。
  • cacheSizeGB设置合理且系统无OOM。
  • 高频查询具备合适索引（含ESR顺序、覆盖查询）。
  • 慢查询阈值与日志已开启，mongostat/mongotop常态化监控。
  • 无大量冗余索引，定期清理与重建。
• 示例
  • 创建复合索引并验证覆盖查询：
    • db.orders.createIndex({ customer_id: 1, order_date: -1 })
    • db.orders.find({ customer_id: 123, status: "paid" }, { customer_id: 1, order_date: 1, _id: 0 }).explain("executionStats")
  • 分析慢查询与日志：
    • db.setProfilingLevel(1, { slowms: 100 })
    • tail -f /var/log/mongodb/mongod.log | grep "COMMAND"
  • 分页优化（基于时间戳/排序键）：
    • 首页：db.posts.find({status:"published"}).sort({ts:-1}).limit(20)
    • 下一页：db.posts.find({status:"published", ts:{$lt: lastSeenTs}}).sort({ts:-1}).limit(20)