服务器运维中EBS弹性块存储的故障排查方法

EBS弹性块存储故障排查方法

一 快速定位路径

• 明确现象与影响范围：是单台实例还是多台、是系统盘还是数据盘、是偶发还是持续、是否伴随告警或业务报错（如超时、队列满、I/O error）。
• 建立监控基线：同时查看云盘与操作系统的关键指标，优先定位“容量—性能—挂载—文件系统”四个层面中的异常点。
• 分层排查：先云盘层（容量、性能、挂载状态），再主机层（驱动/队列/进程/文件系统），最后回放验证（压测与对比）。

二 关键指标与监控

• 核心指标与关系
  • 关注指标：IOPS、吞吐量（MB/s）、访问时延、云盘使用率、inode使用率、Burst IO（ESSD AutoPL）。
  • 基本关系：IOPS × I/O大小 = 吞吐量，不同负载关注点不同（随机小I/O看IOPS，顺序大I/O看吞吐量，数据库更敏感时延）。
• 云盘层监控
  • 控制台路径：ECS 控制台 → 云盘 → 目标云盘 → 监控，查看分钟级IOPS/吞吐量/延迟。
  • 秒级洞察：块存储控制台 → 数据洞察（CloudLens for EBS）→ 云盘分析 → 监控，查看秒级指标与BPS/IOPS水位线；ESSD AutoPL 可查看基准值/预配置值与突发详情（Burst IO）。
• 主机层监控
  • 在实例详情 → 监控 → 操作系统监控，查看磁盘读写字节数、读写请求数、使用率、inode使用率（采集频率15秒/次）。
• 性能上限认知
  • 云盘性能受类型与容量影响，且最终性能同时受挂载实例规格限制；ESSD 系列单盘性能随容量线性增长直至上限。
  • 典型示例（便于判断瓶颈）：ESSD PL0 单盘最大 IOPS 为 min{1,800 + 12×容量, 10,000}，最大吞吐量为 min{100 + 0.25×容量, 180 MB/s}。例如容量 100 GiB 时，理论上限约为 3,000 IOPS / 125 MB/s。

三 常见故障场景与处置

• 容量与inode耗尽
  • 症状：写入失败、No space left on device、创建文件失败但容量未用满。
  • 排查：查看云盘使用率与操作系统inode使用率；定位大文件/日志/容器层未清理数据；必要时扩容或归档。
• 性能不达标或抖动
  • 症状：时延升高、QPS/吞吐下降、应用超时。
  • 排查：
    • 用秒级监控核对IOPS/吞吐量/时延是否触顶（关注BPS/IOPS水位线接近100%）。
    • 核对实例规格是否满足云盘性能上限；检查是否触发**突发（Burst）**后回落。
    • 结合工作负载特征判断瓶颈：随机小I/O看IOPS，顺序大I/O看吞吐量，数据库看时延。
• 在线扩容后容量未生效
  • 症状：控制台显示扩容成功，但 df 仍显示旧大小。
  • 处置：在操作系统侧扩展分区与文件系统（如 growpart、resize2fs/xfs_growfs）；注意系统盘在线扩容可能需要重启或在维护窗口操作；完成后用 df/lsblk 复核。
• 突发耗尽导致性能骤降（ESSD AutoPL 或类似机制）
  • 症状：短时高峰后性能显著下降。
  • 排查：在 CloudLens for EBS 查看Burst IO与突发余额；评估是否调整预配置IOPS或优化业务I/O曲线，避免长期依赖突发。
• 挂载/可见性问题
  • 症状：磁盘未挂载、掉盘、设备名变更。
  • 排查：检查云盘状态（In-use/Available）、挂载点、操作系统日志（如内核 I/O 错误、设备超时）；必要时detach/attach重挂或重启实例验证。

四 性能验证与优化建议

• 基线压测与对比
  • 使用 fio 建立业务特征基线（随机/顺序、读/写、队列深度、I/O 大小），对比当前监控曲线，定位是云盘上限还是实例/内核/应用瓶颈。
• 容量与性能匹配
  • 参考单盘性能公式规划容量，避免“容量小导致性能低”的情况；例如 ESSD PL0 每 GiB 增加约 12 IOPS 与 0.25 MB/s 吞吐，直至上限 10,000 IOPS / 180 MB/s。
• 选择与配置
  • 负载特征匹配：随机小I/O优先高IOPS类型（如 ESSD 系列），顺序大I/O关注吞吐量；对时延敏感业务优先 ESSD/ESSD AutoPL。
  • 实例与存储匹配：确保实例规格具备足够的存储I/O能力，避免实例侧成为瓶颈。
• 突发与预配置
  • ESSD AutoPL 可结合预配置IOPS平滑高峰；监控Burst IO成本与余额，避免被动降速。

五 排障命令清单（Linux 常用）

• 观测云盘与分区
  • lsblk、blkid、fdisk -l、df -h、du -sh、find /var -xdev -type f -size +100M -exec ls -lh {} ;
• 扩展分区与文件系统
  • growpart /dev/vdX 1；resize2fs /dev/vdX1（ext4）；xfs_growfs /mountpoint（xfs）
• 性能压测与实时观察
  • fio --name=test --ioengine=libaio --rw=randread/randwrite/seqread/seqwrite --bs=4k/128k --numjobs=4 --size=10G --runtime=60 --time_based
  • iostat -x 1、vmstat 1、dmesg | tail -n 200、journalctl -k -e