k8s部署在centos上如何进行故障排查

在CentOS上部署Kubernetes（k8s）并进行故障排查时，可以遵循以下步骤：

1. 检查集群状态

• 使用 kubectl get nodes 命令检查节点状态，确保所有节点正常运行。
• 检查etcd、kubelet和kube-proxy等关键组件的状态。

2. 查看Pod状态

• 使用 kubectl get pods --all-namespaces 命令获取所有Pod的状态。
• 对于未处于运行状态的Pod，使用 kubectl describe pod <pod_name> 查看详细信息，以便深入排查问题。

3. 检查事件日志

• 使用 kubectl get events 命令查看集群中发生的事件，这些事件可能包含有关故障的线索。

4. 检查系统资源

• 检查内存使用状态：free -g
• 查询并计算物理CPU数量：cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
• 检测系统盘IO性能：使用 dd 命令测试4k小文件读写速度。

5. 查看日志文件

• 查看Kubernetes组件的日志：journalctl -xe | grep kubelet
• 查看系统日志：tail -f /var/log/messages
• 查看开机信息、内核信息、硬件问题等：dmesg -T
• 查看数据库错误日志：tail -f /sysvol/mariadb/mariadb_data/mysql-error.log

6. 解决内存泄露问题

• 如果出现 cannot allocate memory 或 no space left on device 错误，检查是否存在内存泄露。
• 查看 /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo 文件，判断是否存在内存泄露。

7. 解决网络问题

• 如果遇到网络问题，考虑升级CentOS内核版本。例如，从CentOS 7.8升级到更高版本的内核。

8. 检查存储配置

• 确保Persistent Volumes和Storage Classes配置正确。
• 使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令检查存储相关状态。

9. 研究容器日志

• 使用 kubectl logs <pod_name> -c <container_name> 查看特定Pod中容器的日志输出。

通过以上步骤，可以系统地排查和解决在CentOS上部署的Kubernetes集群可能遇到的故障。根据具体情况，可能还需要进一步调查或采取其他措施。