怎样通过centos提升磁盘I/O性能

CentOS 磁盘 I/O 性能提升实战指南

一基线测量与定位瓶颈

安装监控与压测工具：执行 yum install -y sysstat fio 获取 iostat/vmstat 与 fio。
快速体检：
- iostat -x 1 10 观察 await、r/s、w/s、rkB/s、wkB/s、util%；util 持续接近 100% 多为瓶颈所在。
- vmstat 1 10 关注 wa（I/O 等待）、si/so（换入换出）。
- df -hT 与 df -i 检查容量与 inode 是否耗尽。
建立可复现的基准：用 fio 做 4K 随机/顺序、读/写基线（示例见下文），便于优化前后对比。
识别磁盘类型：lsblk -d -o NAME,ROTA 或 cat /sys/block/sdX/queue/rotational，ROTA=0 为 SSD/NVMe，ROTA=1 为 HDD。

二内核与虚拟层调优

I/O 调度器选择与设置

原则：SSD/NVMe 用 none/noop，HDD 用 mq-deadline（或 deadline），数据库类高并发也常用 deadline。
临时生效：echo none > /sys/block/nvme0n1/queue/scheduler；echo mq-deadline > /sys/block/sda/queue/scheduler。

永久生效（udev）：

cat >/etc/udev/rules.d/60-ioscheduler.rules <<'EOF'
ACTION=="add|change", KERNEL=="nvme[0-9]n[0-9]", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="none"
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="none"
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="1", ATTR{queue/scheduler}="mq-deadline"
EOF
udevadm control --reload-rules && udevadm trigger

脏页与回写阈值（权衡性能与断电风险）
- 适度增大脏页上限，减少过早同步写带来的阻塞：
```
echo 40 > /proc/sys/vm/dirty_ratio
echo 20 > /proc/sys/vm/dirty_background_ratio
```
- 注意：增大脏页比例会提升意外断电时的数据丢失风险；关键数据应使用 O_DIRECT 或应用层落盘策略。
顺序读场景的文件预读
- 默认 read_ahead_kb=128 KB；顺序读较多时可适度增大，例如：
```
echo 4096 > /sys/block/sdX/queue/read_ahead_kb
```
文件系统挂载优化
- 减少元数据写入：在 /etc/fstab 中为数据盘增加 noatime（必要时 nodiratime）。
- 选择文件系统：CentOS 7 默认 XFS，适合大文件/高吞吐；ext4 支持在线收缩，可按场景选择。

三存储栈与架构优化

缓存加速
- 使用 LVM Cache 或 Bcache 以 SSD 做缓存加速 HDD，适合读多写少或热点数据场景。
分层与冗余
- 采用合适的 RAID（如 RAID10/RAID5/RAID6）提升吞吐与可靠性；对日志、数据库等高压业务进行 磁盘隔离。
内存盘与临时数据
- 将可丢失或临时数据放入 tmpfs（如 /dev/shm），显著降低 I/O 压力。
文件系统选择要点
- XFS：大分区/大文件表现优，但不支持在线收缩；
- ext4：生态成熟，支持在线收缩，通用性强。

四 LVM 与文件系统扩容实践

在线扩容 LVM 逻辑卷与文件系统（示例将 /dev/vg0/var 增加 50G）

# 扩展逻辑卷
lvextend -L +50G /dev/vg0/var
# 扩展文件系统（XFS）
xfs_growfs /var
# 如为 ext4，使用：resize2fs /dev/vg0/var
df -h /var  # 验证

非 LVM 场景（云盘系统盘扩容分区后）

yum install -y cloud-utils-growpart
growpart /dev/sda 3
partprobe /dev/sda
xfs_growfs /  # 或 resize2fs 对应分区

风险提示：扩容前务必做好 备份/快照；LVM 扩容为单向操作，建议准备回滚方案。

五验证与回退

基准测试示例（fio，直接 I/O，libaio，4K，队列深度 64）

# 随机读
fio --name=randread --ioengine=libaio --rw=randread --bs=4k --numjobs=4 --size=1G --runtime=60 --direct=1 --iodepth=64 --group_reporting
# 随机写
fio --name=randwrite --ioengine=libaio --rw=randwrite --bs=4k --numjobs=4 --size=1G --runtime=60 --direct=1 --iodepth=64 --group_reporting
# 顺序读/写
fio --name=seqread  --ioengine=libaio --rw=read     --bs=4k --numjobs=4 --size=1G --runtime=60 --direct=1 --iodepth=64 --group_reporting
fio --name=seqwrite --ioengine=libaio --rw=write    --bs=4k --numjobs=4 --size=1G --runtime=60 --direct=1 --iodepth=64 --group_reporting

回退与观察
- 调度器与预读参数均为运行时可调，异常可快速恢复默认值；
- 持续用 iostat -x 1 观察 await、util% 等指标是否改善，并与 fio 基线对比确认收益。

最新问答

相关标签