CentOS HDFS性能测试工具有哪些

CentOS 环境下常用的 HDFS 性能测试工具

工具清单与定位

• TestDFSIO：Hadoop 自带基准测试，侧重评估 HDFS 吞吐（MB/s） 与 平均 I/O 速率，支持写、读、追加、截断、清理等，适合稳态吞吐评估与回归对比。
• Terasort（teragen/terasort/teravalidate）：面向 MapReduce 排序性能 与端到端数据管道验证，包含数据生成、排序、校验三阶段，适合评估 计算+存储 协同性能。
• SliveTest：Hadoop test 包中的 NameNode RPC 压力 与行为仿真工具，可构造大量 ls/create/read/append/delete/rename 等 RPC，适合 元数据与 RPC 层 极限与稳定性压测。
• NNBench：NameNode 并发元数据操作基准，检验 大量文件/目录创建与访问 下的 NameNode 处理能力。
• MRBench：轻量级 MapReduce 作业反复执行 基准，验证作业调度、提交与执行路径的稳定性与开销。
• HiBench：大数据基准套件，覆盖 Hadoop/Spark 等多框架，包含 微基准与宏基准（如 wordcount、sort、join、PageRank 等），适合 工作负载级 性能评估。
• fio：Linux 通用 I/O 压测工具，绕过页缓存（如 direct=1），用于 DataNode 本地磁盘/文件系统 的顺序/随机读写与延迟基线测试。
• Dynamometer：在有限资源下 模拟更大规模集群 的工具，便于评估 扩容/配置变更 对 HDFS 性能的影响。

常用工具快速上手

• TestDFSIO（HDFS 吞吐）

  • 写入：
    hadoop jar /path/to/hadoop-mapreduce-client-jobclient-x.x.x-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB -resFile /path/result.log
  • 读取：
    hadoop jar /path/to/hadoop-mapreduce-client-jobclient-x.x.x-tests.jar TestDFSIO -read -nrFiles 10 -size 1GB -resFile /path/result.log
  • 清理：
    hadoop jar /path/to/hadoop-mapreduce-client-jobclient-x.x.x-tests.jar TestDFSIO -clean
  • 关注输出：Total MBytes processed、Throughput mb/sec、Average IO rate mb/sec、IO rate std deviation、Test exec time sec。

• Terasort（排序与端到端）

  • 生成数据：
    hadoop jar hadoop-x.x.x-examples.jar teragen -Dmapred.map.tasks=100 -Ddfs.block.size=134217728 10000000000 /terasort/output
  • 执行排序：
    hadoop jar hadoop-x.x.x-examples.jar terasort /terasort/output /terasort/sorted
  • 校验结果：
    hadoop jar hadoop-x.x.x-examples.jar teravalidate /terasort/sorted /terasort/validate

• SliveTest（NameNode RPC 压力）

  • 示例：
    hadoop jar hadoop-x.x.x-test.jar SliveTest -maps 50 -ops 2000 -baseDir /test/slive -resFile slive_result
  • 可配置项：maps、ops、duration、readSize/writeSize/appendSize、blockSize、ls/create/read/append/delete/rename 百分比 等，用于构造不同 RPC 混合与强度。

• fio（DataNode 磁盘基线）

  • 顺序写：
    fio -filename=/data/test.log -direct=1 -iodepth=1 -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w
  • 顺序读：
    fio -filename=/data/test.log -direct=1 -iodepth=1 -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r
  • 说明：使用 direct=1 绕过系统缓存，得到更贴近磁盘/文件系统的 吞吐与延迟 基线。

如何选择与组合

• 仅评估 HDFS 吞吐与 I/O 稳定性：优先用 TestDFSIO（写→读→清理），多轮取平均，关注 Throughput mb/sec 与 Average IO rate mb/sec 的稳定性。
• 评估 计算+存储协同（如 SQL/ETL/作业链路）：用 Terasort 或 HiBench 的排序/工作负载套件，得到更接近真实业务的端到端指标。
• 评估 NameNode 元数据与 RPC 能力：用 SliveTest/NNBench/MRBench 构造高并发元数据操作或反复作业提交，观察 RPC 时延、排队、错误率。
• 评估 磁盘/文件系统极限与基线：在 DataNode 本地用 fio 做顺序/随机、不同 bs/iodepth/并发 的压测，为 HDFS 结果归因提供底层参考。
• 评估 扩容/配置变更影响：用 Dynamometer 在有限资源下模拟更大集群，降低试错成本。
• 建议组合路径：fio 磁盘基线 → TestDFSIO HDFS 吞吐 → SliveTest/NNBench RPC 压力 → Terasort/HiBench 端到端。

测试注意事项

• 环境与干扰控制：尽量使用 干净集群（仅 NameNode/DataNode），测试时关闭 SecondaryNameNode、Balancer、RaidNode 等会抢占 NameNode/带宽/CPU 的组件，避免干扰结果。
• 避免缓存影响：HDFS 侧可通过 不同文件/目录 与 多次运行 降低缓存红利；本地磁盘基线用 fio direct=1。
• 多次取平均与回归：同一套参数 重复 3–5 次 取中位数/均值，便于版本间回归与瓶颈定位。
• 结果判读要点：TestDFSIO 关注 吞吐与 I/O 速率；Terasort 关注 总数据量/耗时 的排序速率；SliveTest/NNBench 关注 RPC 时延与错误率 随并发的变化趋势。