CentOS Overlay日志分析方法

CentOS Overlay日志分析方法

一 明确分析范围与日志来源

• 在 CentOS 环境中，“Overlay”通常包含两类：一是容器/存储层的 OverlayFS，二是容器网络的 Overlay 网络。前者主要依赖内核与容器运行时日志，后者依赖容器网络组件与系统日志。常用日志位置与用途如下：
  • 系统通用：/var/log/messages（系统级事件）、/var/log/secure（认证与 sudo）、/var/log/dmesg（内核环缓冲，硬件/驱动/文件系统）、/var/log/boot.log（启动过程）。
  • systemd 服务：journalctl -u （结构化日志，便于按时间、服务、优先级过滤）。
  • 容器运行时：
    • Docker：/var/log/docker.log 或 journalctl -u docker.service；容器日志可通过 docker logs <container> 获取。
    • containerd：journalctl -u containerd；容器日志可通过 crictl logs <container> 获取。
  • 容器网络（如 flannel/calico 等）：查看各自服务日志（如 journalctl -u flanneld）与系统网络日志（/var/log/messages、dmesg）。

二 标准分析流程与常用命令

• 定位时间线：先确定问题发生的准确时间窗口（含时区），避免筛选偏差。
  • 示例：date；journalctl --since "2025-12-12 18:00:00" --until "2025-12-12 18:05:00"
• 快速筛选线索：
  • 实时跟踪：tail -f /var/log/messages；journalctl -u docker.service -f
  • 关键字与上下文：grep -i -C 3 "permission denied" /var/log/messages
  • 优先级过滤：journalctl -p err -u sshd
• 交叉验证：应用日志 + 服务日志 + 内核/系统日志 + 网络状态，避免单源误判。
  • 示例：ss -tlnp | grep :3306；systemctl status nginx；dmesg -T | tail -50
• 降噪与锚定：
  • 排除健康检查噪声：grep -v "/healthz" access.log | awk '$9 ~ /^5/ {print}'
  • 大文件定位：du -sh /var/log/* | sort -hr | head -5
• 分析习惯：优先用 journalctl 的时间与服务过滤；遇到 PID 立刻用 ps -p <PID> -o pid,ppid,comm,etime 跟进；必要时用 less +G 快速跳至文件末尾再搜索。

三 OverlayFS 场景的日志定位与排查要点

• 内核与文件系统线索：
  • 查看内核与文件系统报错：dmesg -T | egrep -i "overlay|I/O error|EXT4-fs|blk_update_request"；tail -n 200 /var/log/messages | egrep -i "overlay|filesystem|readonly"。
  • 检查挂载与参数：确认 lowerdir/upperdir/workdir 正确且可写；mount | grep overlay；df -hT 检查底层与合并层空间；必要时 fsck 检查底层文件系统。
• 容器运行时线索：
  • Docker：journalctl -u docker.service -S "2025-12-12 18:00:00"；docker inspect <container> 查看 Mounts 与日志驱动；docker logs <container> 获取容器标准输出/错误。
  • containerd：journalctl -u containerd -S "2025-12-12 18:00:00"；crictl ps -a；crictl logs <container>。
• 典型症状与定位路径：
  • 只读文件系统或写入失败：优先查 dmesg/messages 的 I/O 错误、磁盘空间、挂载选项与只读重挂载记录。
  • 容器启动失败/文件不可见：核对容器 Mounts 与 OverlayFS 层路径、权限；比对镜像层是否完整（必要时清理并重新拉取）。
  • 性能异常（高延迟/高 I/O）：结合 iostat -x 1、vmstat 1、pidstat -u -p ALL 1、nmon 等确认是否为存储瓶颈，再回到文件系统与挂载参数核查。

四 Overlay 网络场景的日志定位与排查要点

• 控制面与数据面线索：
  • 查看网络组件日志：journalctl -u flanneld、journalctl -u calico-node（按实际使用的 CNI 选择）。
  • 系统网络状态：ip addr、ip link、ip route、ss -tulpen、ovs-vsctl show（如使用 OVS）、docker network ls/inspect <net>（Docker 场景）。
• 连通性与抓包验证：
  • 端到端连通性：ping、curl -I；异常时按源/目的分别抓包定位：tcpdump -i <iface> -nn host <ip> and port <port>。
  • 带宽与占用：iftop -i <iface> 观察实时流量；nmon 或 systemd-cgtop 观察资源占用。
• 典型症状与定位路径：
  • Pod/容器跨主机不通：先看对应 VNI/网段 是否一致、节点路由/ARP 是否正常，再抓包确认封装与回程路径。
  • 服务端口访问异常：同时比对服务日志、容器日志、主机防火墙/安全组与端口监听状态，必要时在服务端与客户端双向抓包。

五 高效检索命令清单与排错模板

• 常用命令清单（按需组合与替换时间/服务/关键字）：
  • 系统/内核：dmesg -T | tail -n 200；tail -f /var/log/messages | egrep -i "overlay|I/O error"；journalctl --since "2025-12-12 18:00:00" -p err
  • Docker：journalctl -u docker.service -S "2025-12-12 18:00:00" -f；docker ps -a；docker logs <container>；docker inspect <container> | grep -A5 Mounts
  • containerd：journalctl -u containerd -S "2025-12-12 18:00:00"；crictl ps -a；crictl logs <container>
  • 网络：ip addr；ss -tulpen；ovs-vsctl show；tcpdump -i <iface> -nn host <ip> and port <port>；iftop -i <iface>
• 一键排错模板（示例，按实际替换时间与容器/网段）：
  • 时间锚定：journalctl --since "2025-12-12 18:00:00" --until "2025-12-12 18:05:00" -p err
  • 内核/文件系统：dmesg -T | egrep -i "overlay|I/O error|readonly"；mount | grep overlay；df -hT
  • 容器运行时（Docker）：docker ps -a；docker logs <container>；docker inspect <container> | grep -A5 Mounts
  • 容器运行时（containerd）：crictl ps -a；crictl logs <container>
  • 网络：ip addr；ss -tulpen；tcpdump -i <iface> -nn host <ip> and port <port>；iftop -i <iface>
• 风险提示：执行 fsck、清理日志或变更挂载/网络配置前，务必做好数据备份与变更窗口评估，避免生产中断。