Linux Overlay的日志如何查看和分析

Linux Overlay日志查看与分析指南

一、先明确 Overlay 的类型

• OverlayFS（文件系统层叠）：用于联合挂载目录（如 Docker/Containerd 的镜像与容器层），问题多与挂载参数、磁盘空间、权限、底层文件系统健康相关。
• Overlay 网络（如 VXLAN 等隧道网络）：用于跨主机容器网络，问题多与 VTEP、隧道接口、MTU、连通性、防火墙相关。

二、OverlayFS 的日志定位与查看

• 内核与系统日志
  • 使用 journalctl 检索内核与挂载相关事件：
    • 查看全部内核日志：sudo journalctl -k
    • 按时间过滤：sudo journalctl -k --since "2025-11-28 09:00:00" -u docker
  • 查看系统日志文件：
    • Debian/Ubuntu：/var/log/syslog，如 sudo tail -f /var/log/syslog | grep -i overlay
    • CentOS/RHEL：/var/log/messages，如 sudo tail -f /var/log/messages | grep -i overlay
• 容器运行时与 Docker 相关
  • 容器标准输出日志：docker logs <container_id_or_name>
  • 容器日志文件位置（JSON 驱动）：/var/lib/docker/containers/<id>/<id>-json.log
    • 快速定位大日志：sudo du -h --max-depth=1 /var/lib/docker/containers | sort -rh | head
    • 安全清理（不删容器）：sudo sh -c "truncate -s 0 /var/lib/docker/containers/*/*-json.log"
• Containerd（Kubernetes 常见）
  • 快照目录（存储层内容，不是文本日志）：/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots
  • 排查思路：先用 du 找出大目录，再判断是镜像层、容器可写层还是应用日志写入导致。
• 挂载与文件系统线索
  • 检查挂载参数是否正确：mount -t overlay -o lowerdir=...,upperdir=...,workdir=... /merged
  • 检查磁盘空间：df -h /merged
  • 检查底层文件系统：sudo fsck /dev/sdXY
  • 检查权限：chmod -R 755 <path> && chown -R user:group <path>
  • 修复后重新挂载：sudo mount -t overlay -o lowerdir=...,upperdir=...,workdir=... /merged

三、Overlay 网络的日志定位与查看

• 系统日志
  • 检索网络与内核日志：sudo journalctl -k | egrep "vxlan|geneve|overlay|iptables|ebtables"
  • 查看系统日志文件：
    • Debian/Ubuntu：/var/log/syslog
    • CentOS/RHEL：/var/log/messages
• 网络状态与连通性
  • 查看隧道/桥接接口：ip link show、bridge link show
  • 抓包分析：sudo tcpdump -i <overlay_iface> -nn host <vtep_ip>
  • 连通性与路径：ping <vtep_ip>、traceroute <vtep_ip>
• 容器平台日志
  • Kubernetes：kubectl logs <pod_name>，必要时 kubectl describe pod <pod_name> 查看事件
  • Docker：docker logs <container_id_or_name>
• 关键检查点
  • VTEP 地址配置与可达性、MTU 一致性（避免分片/丢包）、防火墙/安全组放行隧道与 VXLAN 端口。

四、常见故障与日志特征对照表

五、高效分析与排障命令清单

• 系统日志快速筛选
  • sudo journalctl -k --since today | grep -i overlay
  • sudo tail -n 200 /var/log/syslog | grep -iE "overlay|vxlan|geneve"
• 容器与运行时
  • docker ps -a、docker logs <id>、docker system df
  • sudo du -h --max-depth=1 /var/lib/docker/containers | sort -rh | head
  • sudo truncate -s 0 /var/lib/docker/containers/*/*-json.log
• Containerd/Kubernetes
  • sudo du -h --max-depth=1 /var/lib/containerd | sort -rh | head
  • kubectl get pods -A -o wide、kubectl logs <pod> -c <container>
• 网络与抓包
  • ip addr show、bridge link show、ip route
  • sudo tcpdump -i <iface> -nn -vv port 4789（VXLAN 默认 UDP 4789）
• 挂载与磁盘
  • mount | grep overlay、df -h、ls -ld <lowerdir> <upperdir> <workdir>
  • sudo fsck /dev/sdXY；修复后 sudo mount -t overlay ... /merged