如何排查centos上k8s故障

在CentOS上排查Kubernetes（k8s）故障时，可以遵循以下步骤：

1. 检查Kubernetes集群状态

• 使用kubectl命令：

  kubectl get nodes
  kubectl get pods --all-namespaces
  kubectl describe pod <pod-name> -n <namespace>
  

• 查看集群事件：

  kubectl get events --sort-by=.metadata.creationTimestamp
  

2. 检查组件日志

• kubelet日志：

  journalctl -u kubelet -f
  

• kube-proxy日志：

  journalctl -u kube-proxy -f
  

• API Server日志： 如果你有权限访问API Server的日志文件，通常位于/var/log/kube-apiserver.log。

• Controller Manager日志：

  journalctl -u kube-controller-manager -f
  

• Scheduler日志：

  journalctl -u kube-scheduler -f
  

3. 检查网络配置

• 确保Pod间可以通信：

  kubectl exec <pod-name> -- nslookup <another-pod-name>
  

• 检查CNI插件： 确认CNI插件（如Calico、Flannel）配置正确，并且网络策略没有阻止通信。

4. 检查存储配置

• 检查PersistentVolume和PersistentVolumeClaim：

  kubectl get pv
  kubectl get pvc
  

• 查看存储类和动态供应： 确认存储类配置正确，并且动态供应工作正常。

5. 检查资源限制

• 查看节点资源使用情况：

  top
  free -m
  df -h
  

• 查看Pod资源请求和限制：

  kubectl describe pod <pod-name> -n <namespace>
  

6. 检查Kubernetes版本兼容性

• 确认Kubernetes组件版本兼容： 参考官方文档，确保所有组件的版本是兼容的。

7. 使用诊断工具

• Kubernetes Dashboard： 如果安装了Dashboard，可以通过Web界面查看集群状态和日志。

• Kubeadm reset： 如果怀疑集群配置有问题，可以尝试重置集群：

  sudo kubeadm reset
  

8. 检查系统日志

• 查看系统日志：

  dmesg
  tail -f /var/log/messages
  

9. 网络诊断工具

• 使用traceroute或ping： 检查节点间的网络连通性。

• 使用tcpdump： 抓包分析网络问题。

10. 参考官方文档和社区资源

• Kubernetes官方文档： 官方文档提供了详细的故障排除指南和最佳实践。

• 社区论坛和Stack Overflow： 在这些平台上搜索相关问题，通常可以找到其他用户的解决方案。

通过以上步骤，你应该能够逐步排查并解决CentOS上Kubernetes集群的故障。如果问题依然存在，建议寻求专业的技术支持。