centos k8s部署中如何优化资源

在CentOS上部署和优化Kubernetes（k8s）集群的资源，可以从多个方面入手，包括节点配额和内核参数调整、etcd数据库优化、Kube APIServer配置、Pod配置、网络调优、存储调优等。以下是详细的优化步骤和建议：

节点配额和内核参数调整

• 增加配额：在云平台上增大虚拟机个数、vCPU个数、内网IP地址个数、公网IP地址个数、安全组条数、路由表条数和持久化存储大小。
• 内核参数优化：调整以下参数以提高系统性能：
  • fs.file-max：增加系统级别的文件句柄数量。
  • net.ipv4.neigh.default.gc_thresh1、net.ipv4.neigh.default.gc_thresh2、net.ipv4.neigh.default.gc_thresh3：优化ARP缓存大小。
  • net.netfilter.nf_conntrack_max：增加允许的最大跟踪连接条目。
  • net.core.netdev_max_backlog：增加每个网络接口接收数据包的最大数目。

etcd数据库优化

• 搭建高可用etcd集群：使用etcd operator来自动管理etcd集群的部署、扩缩容、备份和升级。
• 配置SSD存储：为etcd使用SSD固态盘存储。
• 增大存储限制：设置--quota-backend-bytes增大etcd的存储限制。

Kube APIServer配置

• 根据节点数量调整配置：
  • 节点数量 >= 3000时，推荐设置--max-requests-inflight=3000和--max-mutating-requests-inflight=1000。
  • 节点数量在1000-3000时，推荐设置--max-requests-inflight=1500和--max-mutating-requests-inflight=500。

Pod配置

• 设置资源请求和限制：为容器设置合理的resources.limits.cpu和resources.requests.cpu，以及resources.limits.memory和resources.requests.memory。
• 使用控制器管理容器：如Deployment、StatefulSet、DaemonSet等，以提高资源利用率和管理效率。

网络调优

• 调整网络参数：
  • net.ipv4.tcp_tw_reuse：允许将TIME_WAIT连接重新用于新的TCP连接。
  • net.core.somaxconn：增加socket监听(listen)的backlog上限。
  • fs.file-max：增加系统最大文件句柄数。

存储调优

• 设置磁盘IO调度算法：如noop或deadline，以提高磁盘性能。
• 调整Docker参数：通过修改/etc/docker/daemon.json文件，设置native.cgroupdriversystemd等参数，优化Docker的资源管理。

其他优化建议

• 使用Spot实例：将Kubernetes集群运行在Amazon EC2 Spot实例上，可以显著降低计算成本。
• 引入动态资源视图：通过添加agent收集单机资源用量情况，并汇总计算得到动态的资源视图，提升资源利用率。

通过上述优化措施，可以显著提升CentOS上Kubernetes集群的资源利用率和性能。具体的配置参数可能需要根据实际的集群规模、网络环境和性能需求进行调整。在进行优化之前，建议先备份原始配置和数据，以便在出现问题时能够快速恢复。