服务器运维中Node节点常见故障有哪些

服务器运维中Node节点常见故障及表现

1. 节点状态异常（NotReady/Unreachable）

Node节点因kubelet进程异常、未安装/异常的CNI网络插件、Docker/Containerd服务故障、磁盘/内存/CPU资源不足或宕机等原因，无法与Kubernetes API Server正常通信，状态显示为NotReady（未准备好）或Unreachable（不可达）。此时节点会被打上node.kubernetes.io/not-ready或node.kubernetes.io/unreachable污点，阻止新Pod调度至该节点。

2. 资源不足（内存/OOM、磁盘空间满、CPU过载）

• 内存不足（OOM）：Node节点内存耗尽，触发内核OOM Killer终止进程（如Kubelet、Docker或应用进程），导致服务中断；可通过free -h、top命令查看内存使用率，或通过describe node查看MemoryPressure状态。
• 磁盘空间满：节点根分区或数据分区（如/var/lib/docker、/var/log）空间耗尽，导致进程无法写入数据（如日志、容器镜像），触发NodeHasDiskPressure状态；可通过df -h命令检查磁盘使用率。
• CPU过载：Node节点CPU使用率持续过高（如超过80%），导致应用响应变慢或进程挂起；可通过top、htop命令查看CPU占用情况，或通过describe node查看CPUPressure状态。

3. 进程与服务故障（kubelet/Docker异常、应用崩溃）

• kubelet异常：kubelet是Node节点的核心代理，负责与API Server通信、管理Pod生命周期；若kubelet进程崩溃、频繁重启（如日志中显示FrequentKubeletRestart）或无法启动，会导致节点无法正常管理Pod，触发KubeletUnhealthy状态；可通过systemctl status kubelet检查kubelet状态。
• 容器运行时故障：Docker或Containerd作为容器引擎，若进程异常（如FrequentDockerRestart、FrequentContainerdRestart）或无法启动，会导致容器无法运行，触发ContainerRuntimeUnhealthy状态；可通过docker info、crictl info检查容器运行时状态。
• 应用崩溃：Node.js应用因内存泄漏（如未释放的全局变量、闭包）、进程挂起（如同步任务阻塞事件循环）、异步错误未处理（如未捕获的Promise异常）等原因崩溃，导致服务不可用；可通过pm2 logs、node --inspect分析日志和堆栈追踪。

4. 网络故障（节点失联、CNI插件异常）

• 节点失联：Node节点与集群其他节点或API Server无法通信，表现为无法访问节点IP、无法获取节点状态；常见原因包括网络物理链路故障（如网线松动、交换机故障）、网卡驱动异常（如NetworkCardNotFound）、防火墙拦截（如拦截kubelet端口10250）；可通过ping、traceroute、ip a命令排查。
• CNI插件异常：CNI（容器网络接口）插件（如Calico、Flannel）负责Pod网络管理，若插件未正常运行（如CNIIsDown），会导致Pod无法获取IP、跨节点通信失败；可通过kubectl get pods -n kube-system检查CNI插件Pod状态。

5. 硬件故障（磁盘坏道、网卡丢包、CPU过热）

• 磁盘坏道：磁盘物理损坏导致数据读取/写入失败，触发Reallocated_Sectors（重分配扇区数）超标；可通过smartctl -a /dev/sda（Linux系统）检查磁盘SMART状态。
• 网卡丢包：网卡硬件故障或驱动异常导致网络丢包率过高（如rx_errors/sec > 10），影响节点间通信；可通过ethtool -S eth0（eth0为网卡名）检查网卡统计信息。
• CPU过热：CPU散热不良导致温度过高（如>90℃），触发CPU降频或宕机；可通过lm-sensors工具（Linux系统）检查CPU温度。

6. 内核与系统故障（内核死锁、文件系统只读、NTP异常）

• 内核死锁：内核线程因资源竞争无法继续执行，触发KernelDeadlock状态，导致系统无响应；可通过dmesg命令查看内核日志，或通过SystemLogMonitor检测器捕获。
• 文件系统只读：文件系统因磁盘错误或手动挂载为只读（如FilesystemIsReadOnly），导致无法写入数据（如日志、数据库文件）；可通过mount | grep ro检查文件系统挂载状态。
• NTP异常：NTP（网络时间协议）服务未运行或时间不同步，导致节点时间偏差过大（如超过1分钟），影响集群调度（如证书有效期检查）；可通过ntpq -p命令检查NTP同步状态。