如何排查centos上k8s的故障

在CentOS上排查Kubernetes（k8s）故障时，可以遵循以下步骤：

1. 检查Kubernetes集群状态

• 使用kubectl get nodes检查节点状态。
• 使用kubectl get pods --all-namespaces查看所有Pod的状态。
• 使用kubectl describe pod <pod-name>获取特定Pod的详细信息。

2. 查看Kubernetes组件日志

• kubelet：检查节点上的kubelet服务状态和日志。

  systemctl status kubelet
  journalctl -u kubelet -f
  

• kube-proxy：查看kube-proxy的日志。

  journalctl -u kube-proxy -f
  

• API Server：查看API Server的日志。

  journalctl -u kube-apiserver -f
  

• Controller Manager：查看Controller Manager的日志。

  journalctl -u kube-controller-manager -f
  

• Scheduler：查看Scheduler的日志。

  journalctl -u kube-scheduler -f
  

3. 检查网络配置

• 确保所有节点之间的网络连接正常。
• 使用ping和traceroute命令检查网络连通性。
• 检查CNI插件（如Calico、Flannel）的配置和状态。

4. 检查存储配置

• 确保PersistentVolume和PersistentVolumeClaim正确配置并绑定。
• 检查存储后端（如NFS、Ceph）的状态。

5. 检查资源限制

• 使用kubectl top nodes和kubectl top pods --all-namespaces查看资源使用情况。
• 确保没有节点或Pod因为资源不足而无法正常运行。

6. 检查Kubernetes版本兼容性

• 确保所有组件和插件的版本兼容。
• 查看Kubernetes官方文档中的版本兼容性矩阵。

7. 使用诊断工具

• kubeadm reset：重置Kubernetes集群到初始状态。
• kubectl debug：创建一个调试Pod来诊断问题。
• kubectl exec：进入Pod内部执行命令进行调试。

8. 检查系统日志

• 使用dmesg查看内核日志。
• 使用/var/log/messages或/var/log/syslog查看系统日志。

9. 更新和重启服务

• 确保所有Kubernetes服务和相关依赖项都是最新的。
• 重启Kubernetes服务和相关组件。

10. 参考官方文档和社区资源

• 查阅Kubernetes官方文档中的故障排除指南。
• 在Kubernetes社区论坛和Stack Overflow上寻求帮助。

通过以上步骤，可以逐步排查并解决CentOS上Kubernetes集群的故障。记得在操作过程中备份重要数据，并谨慎执行可能影响集群稳定性的命令。