k8s在centos上的故障排查指南

在CentOS上部署和运行Kubernetes（k8s）时，可能会遇到各种故障。以下是一个详细的故障排查指南，可以帮助您系统地定位和解决问题：

1. 检查集群状态

• 检查节点状态：使用 kubectl get nodes 命令检查所有节点的状态，确保所有关键组件如etcd、kubelet和kube-proxy正常运行。

  kubectl get nodes
  

• 查看关键组件状态：使用 kubectl get pods --all-namespaces 命令检查所有Pod的状态，特别关注那些未处于Running状态的Pod，并通过 kubectl describe pod <pod_name> 获取详细信息。

  kubectl get pods --all-namespaces
  kubectl describe pod <pod_name>
  

2. 查看事件日志

• 查看集群事件：使用 kubectl get events 命令查看集群中发生的事件，这些事件可能包含有关故障的线索。

  kubectl get events
  

3. 检查系统资源

• 检查内存使用状态：使用 free -g 命令检查内存使用情况。
• 查询CPU信息：使用 cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l 命令查询物理CPU数量。
• 检测系统盘IO性能：使用 dd 命令测试4k小文件读写速度。

  free -g
  cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
  dd if=/dev/zero of=/tmp/testfile bs=4k count=1024k conv=fdatasync
  

4. 查看日志文件

• 查看Kubernetes组件日志：使用 journalctl -xe | grep kubelet 查看kubelet的日志。
• 查看系统日志：使用 tail -f /var/log/messages 查看系统日志。
• 查看开机信息、内核信息、硬件问题：使用 dmesg -T 命令查看相关信息。
• 查看数据库错误日志：使用 tail -f /sysvol/mariadb/mariadb_data/mysql-error.log 查看数据库错误日志。

5. 解决内存泄露问题

• 检查内存使用情况：如果出现 cannot allocate memory 或 no space left on device 错误，检查是否存在内存泄露。
• 查看内存泄露信息：查看 /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo 文件，判断是否存在内存泄露。

6. 解决网络问题

• 检查网络插件状态：确保网络插件（如Flannel、Calico）正常运行，使用 kubectl get pods -n kube-system 查看相关Pod的状态。
• 检查节点之间的网络连通性：使用 ping、traceroute 等工具检查节点间的连通性。

7. 检查存储配置

• 检查Persistent Volumes和Storage Classes：确保配置正确，使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令检查存储相关状态。

8. 研究容器日志

• 查看容器日志：使用 kubectl logs <pod_name> -c <container_name> 查看特定Pod中容器的日志输出。如果Pod内有多个容器，可以使用 kubectl logs -c <container_name> <pod_name> 查看特定容器的日志。

9. 使用调试工具

• 使用kubectl debug进行调试：kubectl debug 命令允许在运行中的Pod中启动一个新的容器，以便进行调试。这个新容器可以与目标容器共享进程命名空间，并允许你安装和使用常用的调试工具。

  kubectl debug pod_name --image=debug-image --target=container_name
  

10. 监控和日志分析

• 使用监控工具：如Prometheus和Grafana进行全面的集群监控和日志分析，能够更高效地识别和分析故障的根因。

通过上述步骤，您可以系统地对Kubernetes集群在CentOS上进行故障排查，快速定位并解决问题，确保系统的稳定运行。