Linux overlay如何加速

Linux Overlay（尤其是 OverlayFS 和 Docker 用的 overlay2）本身设计就是“轻量、快速”的，但仍有 不少可优化点。下面按最常见场景 + 实操建议来讲，怎么“加速” Linux Overlay。

一、先确认：你在用什么 Overlay？

mount | grep overlay
cat /proc/filesystems | grep overlay

Docker 常见：

docker info | grep -i storage

✅ 推荐使用 overlay2（不是 overlay）

二、最核心的加速手段（效果最大）

✅ 1. 把 Overlay 放在 SSD / NVMe 上（最关键）

Overlay 是 元数据密集 + 大量小文件 的 FS：

✅ 必须条件：

• /var/lib/docker（Docker）
• 或 Overlay 挂载目录
• 在 SSD 上

lsblk
df -hT /var/lib/docker

✅ 2. 使用 overlay2（不要 overlay）

overlay2：

• 支持多层合并
• 减少 upperdir 拷贝
• 性能更好

✅ Docker 推荐配置：

{
  "storage-driver": "overlay2"
}

然后：

systemctl restart docker

✅ 3. 禁用或优化 xattrs

Overlay 会使用 xattr 记录元数据：

如果不需要 SELinux / 安全标签：

mount -t overlay overlay \
  -o lowerdir=...,upperdir=...,workdir=...,xino=on \
  /mnt

或 Docker：

{
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}

⚠️ 不建议直接关 xattr，除非你明确知道后果。

三、减少 Overlay 层数（非常重要）

✅ 1. 减少 Docker 镜像层数

❌ 不推荐：

RUN yum install -y A
RUN yum install -y B
RUN yum install -y C

✅ 推荐：

RUN yum install -y A B C && \
    yum clean all

✔ 层数越少：

• Overlay 合并越快
• inode 压力越小

✅ 2. 避免频繁写 upperdir

Overlay 的 写时复制（copy-up）很贵：

• 大文件写入 → 拷贝整个文件
• 日志、数据库文件 → 非常慢

✅ 优化方案：

• 日志写到 volume
• 数据库用 volume
• 临时文件用 tmpfs

docker run --tmpfs /tmp

四、内核 & 文件系统级优化

✅ 1. 使用较新内核（强烈推荐）

OverlayFS 性能在以下版本有明显提升：

uname -r

✅ 2. 底层 FS 用 ext4 或 xfs

✅ 推荐：

• ext4（默认）
• xfs（大目录、容器多）

❌ 不推荐：

• btrfs + overlay（双重 COW，慢）
• zfs + overlay（性能差）

✅ 3. 开启 xino=on（减少 inode 冲突）

mount -t overlay overlay \
  -o lowerdir=...,upperdir=...,workdir=...,xino=on \
  /mnt

Docker 默认已启用（overlay2）。

五、Docker 专用加速技巧

✅ 1. 使用 docker build --cache-from

避免重复 overlay 合并。

✅ 2. 清理无用 overlay 层

docker system prune -f

或：

docker builder prune

✅ 3. 避免 overlay 在 NFS / 网络盘上

❌ 非常慢
✅ 本地磁盘

六、性能对比（经验值）

七、如果你愿意，我可以帮你：

• ✅ 分析你当前的 overlay 挂载参数
• ✅ 给你一份 Docker / Kubernetes 最优存储配置
• ✅ 判断你慢的原因是 IO / inode / copy-up
• ✅ 给你一个 overlay 性能测试脚本

你可以直接贴：

mount | grep overlay
docker info
uname -a
lsblk