如何在Ubuntu Overlay中进行故障排查

Ubuntu Overlay 故障排查指南

先明确问题类型

• 若你遇到的是文件系统层的联合挂载问题（如 Docker/Podman 的 overlay2 存储、手动 mount -t overlay），请按本文的 OverlayFS 文件系统部分排查。
• 若你遇到的是容器/虚拟网络中的 Overlay 网络（如 VXLAN、Geneve、flannel/calico 等），请跳到 Overlay 网络部分。

OverlayFS 文件系统排查步骤

• 检查底层文件系统健康
  • 卸载相关分区后在离线状态执行：fsck /dev/sdXY；OverlayFS 的稳定性依赖底层存储健康。
• 核对挂载参数与目录
  • 确认 lowerdir、upperdir、workdir 路径存在且类型正确（workdir 必须是空目录），再执行：
    • mount -t overlay overlay -o lowerdir=/path/to/lowerdir,upperdir=/path/to/upperdir,workdir=/path/to/workdir /merged
• 权限与所有权
  • 合并层与上层目录权限需合理，例如：chmod -R 755 /path/to/merged、chown -R user:user /path/to/merged。
• 磁盘空间
  • 写操作落在 upperdir，务必确保空间充足：df -h /path/to/upperdir（同时关注 lowerdir/workdir 所在分区）。
• 内核与模块
  • 确认内核支持并已加载模块：lsmod | grep overlay；现代 Ubuntu 内核默认支持。
• 系统日志定位
  • 查看内核与系统日志：dmesg | grep -i overlay、journalctl -xe | grep -i overlay、tail -n50 /var/log/syslog。
• 重新挂载验证
  • 修正后尝试重新挂载并检查：mount | grep overlay、在 merged 目录进行读写/删除验证。
• 升级修复已知问题
  • 更新系统与内核以修复历史缺陷（如 CVE-2021-3493 已在 Linux 5.11 起修复）：sudo apt update && sudo apt upgrade。
• 变更前务必备份重要数据，避免不可逆损失。

Overlay 网络排查步骤

• 拓扑与配置核对
  • 明确 VTEP 地址、隧道协议（VXLAN/NVGRE）、VNI/租户、MTU 等关键参数与设计一致。
• 物理与端口状态
  • 使用 ip link、ethtool 检查链路、速率、双工与错误计数。
• VTEP 与隧道接口
  • 查看隧道设备与状态：ip link show、bridge fdb（VXLAN 需关注远端 VTEP 学习情况）、必要时检查 /sys/class/net// 下状态。
• 连通性与路径
  • 在相同二层域/路由域内进行 ping 与 traceroute/mtr，定位丢包或异常跳点。
• MTU 一致性
  • 隧道封装会占用字节，确保 物理口、隧道口、对端设备 的 MTU 一致，必要时下调以避免分片。
• 防火墙与安全组
  • 放行 VXLAN 协议（UDP 4789） 或相应隧道端口，云环境同步检查 安全组/NACL 规则。
• 分段与替换法
  • 按 节点-隧道-对端 分段测试，逐步缩小故障域，必要时替换疑似故障设备/虚机。
• 监控与日志
  • 收集 VTEP/容器网络插件（flannel/calico） 日志，结合 Prometheus/Grafana 观察丢包、延迟与错误计数。

快速命令清单

• OverlayFS 文件系统
  • 查看与挂载：mount | grep overlay；lsmod | grep overlay
  • 手工挂载：mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged
  • 健康检查：fsck /dev/sdXY；df -h upper；dmesg | grep -i overlay；journalctl -xe | grep -i overlay
• Overlay 网络
  • 接口与转发：ip link；bridge fdb；ip route；ethtool
  • 连通与路径：ping；traceroute/mtr
  • 防火墙：sudo ufw status；iptables -S；nft list ruleset

常见症状与处理对照表

需要你补充的关键信息（便于精确定位）

• 问题类型：OverlayFS 文件系统 还是 Overlay 网络
• 如果是文件系统：内核版本（uname -r）、mount 命令与参数、df -h 输出、dmesg | grep -i overlay 关键行
• 如果是网络：隧道类型（VXLAN/Geneve）、节点与对端 IP、MTU、相关路由/防火墙规则、bridge fdb/路由表片段