centos overlay如何排查错误

在 CentOS 中使用 OverlayFS（overlay） 时（常见于 Docker、Kubernetes、或者手动 mount overlay），排查错误可以从 内核日志、mount 参数、文件系统状态、权限与空间 几个方向入手。下面给你一套实用的排查思路。

一、先确认你用的是哪种 overlay

CentOS 中 overlay 常见场景：

Docker / Kubernetes 存储驱动
- 查看 Docker：
```
docker info | grep -i storage
```
- 常见：overlay2

手动 mount overlay

mount -t overlay overlay -o lowerdir=,upperdir=,workdir= /mnt

系统层 overlay（如 ostree、coreos）

二、查看内核与挂载错误（最重要）

Overlay 报错 几乎都会进内核日志。

dmesg | tail -n 50

或持续查看：

dmesg -w

常见错误示例：

overlayfs: failed to resolve lowerdir
overlayfs: workdir is not empty
overlayfs: upper fs does not support xattr
overlayfs: invalid argument

三、手动 mount 时的典型错误与排查

1. lowerdir / upperdir / workdir 路径错误

确保：

lowerdir 必须存在
upperdir 和 workdir 在同一文件系统
workdir 必须为空目录

示例：

ls -ld /lower /upper /work

错误示例：

mount: wrong fs type, bad option, bad superblock

2. workdir 不是空目录

rm -rf /work/*

再重新 mount。

3. 文件系统不支持 xattr（常见于旧 ext3 / vfat）

Overlay 需要：

userxattr 或原生 xattr 支持

检查：

mount | grep " / "

解决：

使用 ext4 / xfs
或加选项（不推荐生产）：
```
-o userxattr
```

四、Docker overlay2 常见问题排查

1. Docker 无法启动

systemctl status docker
journalctl -u docker -n 100

常见错误：

storage-driver overlay2 not supported
permission denied
no space left on device

2. 磁盘空间问题（非常常见）

df -h
du -sh /var/lib/docker

清理：

docker system prune -a

3. inode 耗尽（比空间更隐蔽）

df -i

五、权限与 SELinux 问题（CentOS 特有）

1. SELinux 导致 overlay 失败

临时验证：

setenforce 0

如果好了，说明是 SELinux 策略问题：

ausearch -m avc -ts recent

修复方式（示例）：

semanage fcontext -a -e /var/lib/docker /srv/docker
restorecon -Rv /srv/docker

六、Overlay 只读 / 写不进去

lowerdir 是只读的（正常）
upperdir 满或权限不足
容器层写失败

检查：

touch /upper/testfile

七、快速排查清单（建议收藏）

# 1. 内核日志
dmesg | tail -n 50

# 2. 挂载参数
mount | grep overlay

# 3. 目录状态
ls -ld lower upper work

# 4. 空间 & inode
df -h
df -i

# 5. SELinux
getenforce

# 6. Docker（如相关）
docker info
journalctl -u docker

八、如果你愿意，我可以更具体地帮你

你可以直接贴出：

dmesg 报错
mount 命令或 Docker 报错
CentOS 版本（cat /etc/redhat-release）
内核版本（uname -a）

我可以按你的实际错误逐条分析。