怎样排查centos k8s故障

排查CentOS Kubernetes（k8s）集群的故障可以按照以下步骤进行：

1. 检查集群状态：

   • 使用kubectl get nodes命令检查所有节点的状态。
   • 使用kubectl get pods --all-namespaces命令检查所有Pod的状态。
   • 使用kubectl get services命令检查服务状态。
   • 使用kubectl describe pod <pod-name>命令查看特定Pod的详细信息和事件。

2. 查看日志：

   • 使用kubectl logs <pod-name>命令查看Pod的日志。
   • 如果Pod因为错误而重启，可以使用kubectl describe pod <pod-name>查看重启次数和最近的日志条目。

3. 检查事件：

   • 使用kubectl get events命令查看集群中最近的事件。
   • 使用kubectl describe pod <pod-name>或kubectl describe node <node-name>查看特定资源相关的事件。

4. 网络问题：

   • 确保Pod间可以正常通信，可以使用kubectl exec进入一个Pod内部，尝试ping其他Pod或服务。
   • 检查CNI插件（如Calico、Flannel等）是否正常运行。

5. 资源限制：

   • 检查是否有Pod因为资源限制（CPU、内存）而被驱逐。
   • 使用kubectl top pods和kubectl top nodes命令查看资源使用情况。

6. 检查etcd：

   • etcd是Kubernetes的存储后端，检查etcd的健康状态和性能。
   • 使用etcdctl命令行工具检查etcd集群的状态。

7. 检查API Server：

   • API Server是Kubernetes的控制平面组件，检查其日志和性能。
   • 确保API Server可以正常访问，可以使用curl或浏览器访问API Server的UI界面（如果已启用）。

8. 检查Controller Manager和Scheduler：

   • 确保这些组件正在运行，并且没有错误日志。
   • 检查它们是否能够正常调度Pod。

9. 检查Kubelet：

   • Kubelet运行在每个节点上，负责管理节点上的Pod。
   • 检查Kubelet的日志，确保它能够正常与API Server通信。

10. 使用监控工具：

    • 使用Prometheus和Grafana等监控工具来查看集群的性能指标和历史数据。

11. 检查配置文件：

    • 确保所有的配置文件（如kubeconfig、部署配置等）都是正确的。

12. 更新和回滚：

    • 如果最近有更新操作，考虑是否需要回滚到之前的稳定版本。

13. 查阅文档和社区：

    • 如果以上步骤无法解决问题，查阅Kubernetes官方文档或寻求社区帮助。

在进行故障排查时，建议按照从简单到复杂的顺序进行检查，并且每次只改变一个变量，这样可以更容易地定位问题所在。