centos下mongodb性能调优

CentOS下MongoDB性能调优指南

内存：MongoDB依赖内存缓存数据和索引，建议分配服务器总内存的**50%-75%**给WiredTiger存储引擎（如8GB内存服务器可设置cacheSizeGB: 6），避免内存不足导致频繁磁盘交换（Swap）。
磁盘：优先使用SSD（如NVMe SSD），其高IOPS和低延迟能显著减少读写延迟；避免使用HDD，尤其是机械硬盘。
CPU：选择多核处理器（如Intel Xeon铂金系列），MongoDB是CPU密集型应用，多核能提高并发处理能力（如查询、写入、索引维护）。
关闭不必要的服务：停止防火墙（systemctl stop firewalld）或禁用SELinux（setenforce 0），减少系统负载（仅适用于测试环境；生产环境需权衡安全性）。

调整文件描述符和进程数限制：MongoDB需要处理大量并发连接，需修改/etc/security/limits.conf，添加以下内容（针对mongod用户）：
mongod soft nofiles 64000
mongod hard nofiles 64000
mongod soft nproc 64000
mongod hard nproc 64000
同时执行ulimit -n 64000和ulimit -u 64000使设置生效。
关闭文件传输页缓存：编辑/etc/fstab，为数据目录添加noatime选项（如/dev/xvdb /data ext4 noatime 0 0），然后执行mount -o remount /data，减少文件访问时间更新带来的磁盘I/O。
禁用透明大页（Transparent Huge Pages, THP）：THP会导致内存管理开销增加，执行以下命令禁用：
echo never | sudo tee /sys/kernel/mm/transparent_hugepage/enabled
echo never | sudo tee /sys/kernel/mm/transparent_hugepage/defrag
并将上述命令添加到/etc/rc.local中，确保开机自动生效。

使用WiredTiger存储引擎：默认已启用，无需修改，其性能优于MMAPv1（尤其适合写密集型场景）。
配置WiredTiger缓存大小：在/etc/mongod.conf中设置storage.wiredTiger.engineConfig.cacheSizeGB（如4），根据服务器内存调整（建议不超过总内存的75%）。
调整日志级别：生产环境将systemLog.verbosity设置为1（warning），减少日志输出量，降低磁盘I/O；调试时可设置为0（debug）。
优化网络配置：增加net.maxIncomingConnections（如5000），允许更多并发连接；开启tcpNoDelay（net.socketOptions.tcpNoDelay: true）和keepAlive（net.socketOptions.keepAlive: 1），减少网络延迟。
配置复制集和分片：
- 复制集：通过replication.replSetName设置副本集名称（如rs0），提高数据冗余和读取性能（从节点可处理读请求）；
- 分片：对于大数据集（如TB级），使用sh.enableSharding()和sh.shardCollection()将数据水平切分到多个分片，提高写入和查询性能。

创建合适的索引：为经常用于find、sort、group的字段创建索引（如db.articles.createIndex({title: 1})）；复合索引需根据查询模式设计（如db.articles.createIndex({author_id: 1, created_at: -1})，适合按作者ID查询并按时间倒序排序的场景）。
使用覆盖索引：查询时只返回索引字段，避免访问文档本身（如db.articles.find({title: "MongoDB"}, {_id: 0, title: 1})，若title有索引，则无需读取文档）。
避免全表扫描：通过explain("executionStats")分析查询执行计划，确保查询使用了索引（winningPlan.stage应为IXSCAN而非COLLSCAN）；避免使用$or（除非所有子句都有索引），尽量用$in替代。
定期重建索引：索引碎片化会影响性能，定期执行db.collection.reIndex()（如每月一次），尤其是在大量插入、删除操作后。

使用投影：只返回需要的字段，减少数据传输量（如db.users.find({}, {name: 1, email: 1, _id: 0})，避免返回_id字段）。
分页查询：对于大数据集，使用skip和limit分页（如db.orders.find().skip(20).limit(10)，跳过前20条，返回10条），避免一次性返回大量数据。
批量操作：使用insertMany、updateMany替代单条插入/更新（如db.products.insertMany([{name: "A"}, {name: "B"}])），减少网络往返次数。
避免大文档：MongoDB单个文档最大为16MB，尽量避免存储过大的文档（如日志、图片），可通过引用（如存储图片URL）或分片解决。

使用内置工具：
- mongostat：监控每秒的读写操作、延迟、锁等待等指标（如mongostat --host 127.0.0.1 --port 27017）；
- mongotop：查看集合级别的读写时间分布（如mongotop --host 127.0.0.1 --port 27017），定位慢集合。
分析慢查询：启用慢查询日志（在/etc/mongod.conf中设置operationProfiling.mode: slowOp，operationProfiling.slowOpThresholdMs: 100），通过db.getProfilingLevel()查看当前级别，用db.system.profile.find()分析慢查询。
第三方监控工具：使用Prometheus+Grafana搭建可视化监控面板，监控CPU、内存、磁盘I/O、连接数等指标；或使用Percona Monitoring and Management（PMM），提供更详细的MongoDB性能分析。

清理无用数据：定期删除过期数据（如日志、临时数据），使用db.collection.deleteMany({createdAt: {$lt: ISODate("2025-01-01")}})，减少存储空间占用。
备份数据：使用mongodump和mongorestore定期备份（如每周一次），确保数据安全（备份文件存储在独立磁盘或云存储中）。
更新MongoDB版本：及时升级到最新稳定版（如从4.4升级到5.0），获取性能改进、安全修复和新功能（升级前需备份数据并测试兼容性）。

最新问答