Debian MongoDB性能测试方法

Debian 上 MongoDB 性能测试实操指南

一 测试准备与基线

• 硬件与系统基线
  • 记录 CPU、内存、磁盘类型与挂载选项（如 ext4/xfs、是否启用 noatime）、网络带宽与延迟。
  • 对存储做基线 I/O 压测（例如使用 FIO），确认磁盘本身不是瓶颈：sudo apt-get install -y fio；示例：fio --name=test --ioengine=libaio --rw=randwrite --bs=4k --size=1G --numjobs=4 --runtime=60 --time_based。
• MongoDB 配置基线
  • 绑定地址与安全：仅监听内网 127.0.0.1 或内网网段，开启 鉴权 与最小权限账户；TLS 可选（压测环境可先关闭以排除 TLS 开销）。
  • 存储引擎与 WiredTiger 参数：如 cacheSizeGB、journal.enabled、directoryForIndexes 等保持与生产一致或明确记录差异。
  • 慢查询与 Profiling：设置阈值（如 slowOpThresholdMs: 100），便于在压测中定位慢操作。
• 预热与数据准备
  • 先“预热”缓存（简单全表扫描或代表性查询），再正式压测；避免首次运行受 page cache 影响。
  • 明确数据集规模（如 recordcount）与运行时长，保证统计意义。

二 核心工具与命令示例

• YCSB（推荐，覆盖多种访问模式）
  • 安装依赖：sudo apt update && sudo apt install -y openjdk-11-jdk maven
  • 下载与解压：cd /usr/src && wget https://github.com/brianfrankcooper/YCSB/releases/download/0.5.0/ycsb-0.5.0.tar.gz && tar xfz ycsb-0.5.0.tar.gz && cd ycsb-0.5.0
  • 配置 workload（示例为只读，贴近内容检索场景）：编辑 workloads/workloadc
    • mongodb.url=mongodb://root:password@127.0.0.1:27017/ycsb
    • recordcount=100000
    • operationcount=500000
    • workload=com.yahoo.ycsb.workloads.CoreWorkload
    • readallfields=true
    • readproportion=1
    • updateproportion=0
    • scanproportion=0
    • insertproportion=0
    • requestdistribution=zipfian
  • 执行：先导入数据 ./bin/ycsb load mongodb -P workloads/workloadc；再运行 ./bin/ycsb run mongodb -P workloads/workloadc
  • 说明：YCSB 提供多种工作负载（如 A 更新密集、B 读多写少、C 纯读、D 读插入混合、E 短事务），可按业务选择或自定义。
• JMeter（图形化场景与复杂链路）
  • 安装：wget https://downloads.apache.org//jmeter/binaries/apache-jmeter-5.4.1.tgz && tar -xzf apache-jmeter-5.4.1.tgz
  • 使用：在 GUI 中创建测试计划，添加线程组与 MongoDB Sampler，配置连接串、数据库/集合、操作与断言，保存后运行并查看聚合报告。
• 其他工具
  • mongo-mload（Go）：面向批量插入/查询的轻量压测，便于快速打点与回归。
  • mbt（MongoDB Benchmark Tool）：官方实验室工具，基于配置定义工作负载与连接参数，适合做配置对比实验。

三 监控与指标采集

• MongoDB 自带工具
  • mongostat：每秒输出 insert/update/query/delete、连接数、索引命中、脏页/检查点等，快速判断负载与锁竞争。
  • mongotop：按集合统计读写耗时，定位热点集合与慢集合。
• 慢查询与 Profiling
  • 在 /etc/mongod.conf 中开启：operationProfiling: { slowOpThresholdMs: 100, mode: slowOp }，压测期间收集长尾请求并优化索引/语句。
• Prometheus + Grafana（可选，长期趋势与可视化）
  • 部署 MongoDB Exporter（默认端口 9302），在 Prometheus 配置抓取目标；Grafana 导入 MongoDB 面板，观察 opcounters、connections、wiredTiger cache、page faults、repl lag 等。

四 一套可复用的测试流程

• 步骤 1 环境与基线
  • 记录硬件/OS/磁盘/网络基线；用 FIO 验证存储能力；MongoDB 采用接近生产的配置并开启慢查询。
• 步骤 2 数据装载
  • 使用 YCSB 的 load 阶段导入目标数据量（如 recordcount=100000），确保索引已创建完成。
• 步骤 3 预热
  • 运行轻量查询（如全表扫描或代表性查询）5–10 分钟，让缓存与存储进入稳定状态。
• 步骤 4 正式压测
  • 选择工作负载（如 workloadc 纯读 或 workloada 50/50 读写），设置并发线程数与运行时长（建议 10–30 分钟），执行并记录结果。
• 步骤 5 监控与日志
  • 压测期间并行采集 mongostat/mongotop 输出与慢查询日志；如使用 Prometheus/Grafana，关注 Throughput、p95/p99 延迟、opcounters、connections、wiredTiger cache、page faults 等关键指标。
• 步骤 6 结果分析与调优
  • 识别瓶颈（CPU、I/O、锁、索引缺失、连接数不足等），调整索引/查询/配置或硬件后重复步骤 3–5 做 A/B 对比，确保结论可复现。

五 常见问题与排查要点

• 连接失败或服务异常
  • 使用 systemctl status mongod 检查状态；核对 bindIp/端口/防火墙；用 mongo shell 直连排查网络与鉴权问题。
• 吞吐上不去或延迟抖动
  • 用 mongostat/mongotop 观察操作分布与热点集合；用 explain 与慢查询日志定位缺失索引与低效语句；检查连接数是否触顶。
• 数据不一致或复制滞后
  • 核查副本集状态与 oplog 同步；确认 writeConcern 与读偏好设置符合预期。
• 日志与审计
  • 查看 /var/log/mongodb/mongod.log 的关键错误；必要时调整日志级别与轮转策略，避免磁盘被占满。