Debian系统如何进行Kubernetes性能调优

Debian 上 Kubernetes 性能调优实战指南

一 内核与系统基线

• 使用较新的稳定内核（如 Debian 12 的 6.1+），并启用 cgroups v2（推荐 5.8+）。
• 关闭 Swap：执行 swapoff -a 并在 /etc/fstab 中注释 swap 条目，避免容器性能抖动与 OOM 误伤。
• 加载必要内核模块并开启桥接流量进入 iptables：
  • 模块：overlay、br_netfilter
  • sysctl：net.bridge.bridge-nf-call-iptables=1、net.ipv4.ip_forward=1
• 典型内核参数（写入 /etc/sysctl.d/99-k8s-optimization.conf 后执行 sysctl --system）：
  • 网络与连接：
    • net.core.rmem_max=16777216、net.core.wmem_max=16777216
    • net.core.somaxconn=32768、net.core.netdev_max_backlog=16384
    • net.ipv4.tcp_rmem=4096 87380 16777216、net.ipv4.tcp_wmem=4096 65536 16777216
    • net.ipv4.tcp_max_syn_backlog=3240000、net.ipv4.tcp_tw_reuse=1、net.ipv4.tcp_slow_start_after_idle=0
  • 连接追踪（高并发下务必调大）：
    • net.netfilter.nf_conntrack_max=1048576、net.netfilter.nf_conntrack_tcp_timeout_established=86400
  • 内存与虚拟内存：
    • vm.swappiness=10、vm.vfs_cache_pressure=50
    • vm.dirty_ratio=10、vm.dirty_background_ratio=5
    • vm.dirty_writeback_centisecs=500、vm.dirty_expire_centisecs=3000
  • 透明大页（THP）：vm.transparent_hugepage=never
  • 文件句柄与 inotify：
    • fs.file-max=2097152、fs.nr_open=2097152
    • fs.inotify.max_user_instances=1024、fs.inotify.max_user_watches=1048576
• systemd 与服务限制（/etc/systemd/system.conf.d/10-limits.conf）：
  • DefaultLimitNOFILE=1048576、DefaultLimitNPROC=1048576、DefaultLimitMEMLOCK=infinity
• 持久化生效：
  • sysctl --system 与 systemctl daemon-reexec 或重启相关服务。

二 容器运行时与 kubelet 调优

• 运行时建议优先使用 containerd（性能与资源占用更优）。关键配置（/etc/containerd/config.toml 或 containerd-config-extra）：
  • 并发拉取：max_concurrent_downloads=10
  • CRI 运行时：SystemdCgroup=true（与 kubelet 保持一致）
  • Snapshotter：overlayfs（通用场景性能与稳定性较好）
• kubelet 关键项（结合节点资源与业务特性调整）：
  • 启用并统一 cgroups v2 管理：--cgroup-driver=systemd
  • 节点可分配资源强制实施：--enforce-node-allocatable=pods,kube-reserved,system-reserved
  • 预留资源（示例）：--kube-reserved=cpu=200m,memory=512Mi、--system-reserved=cpu=500m,memory=1Gi
  • 单节点 Pod 上限：--max-pods（依据 CNI/节点网络与 kube-proxy 能力评估）
• 镜像拉取与启动：
  • 提高并发拉取（如 containerd 的 max_concurrent_downloads）
  • 节点预加载 pause 镜像，缩短 Pod 启动时间（大规模扩容时收益明显）。

三 网络与 CNI 优化

• 选择高性能 CNI：如 Cilium（eBPF）、Calico（BGP）；中小规模或简单场景可用 Flannel。
• 正确设置 MTU：常规 1500；若底层网络支持 Jumbo Frame，可设为 9000，并确保网卡、交换机、CNI 一致。
• 提升 DNS 性能：部署 NodeLocal DNSCache，减少跨节点 DNS 往返。
• 高并发下优化 kube-proxy：
  • 优先使用 IPVS 模式（连接表更大、转发更高效）
  • 适度提升 conntrack 上限与优化超时（如 nf_conntrack_max、nf_conntrack_tcp_timeout_established）
• 连接追踪压力缓解：
  • 减少 Service NodePort 五元组转换，优先 LoadBalancer/Ingress
  • 结合业务调大 nf_conntrack_max 与合理超时

四 控制面与 etcd 性能

• etcd（集群“心脏”，对磁盘与网络极其敏感）：
  • 使用 本地 SSD/NVMe；避免与高 IO 进程争用（必要时提高磁盘 ionice 优先级）
  • 配额与压缩：--quota-backend-bytes=8589934592（8GB），定期执行压缩与碎片整理
  • 对等网络优先级：对 2379/2380 端口设置 tc prio，降低 leader 拥塞
  • 大规模可将 events 分离到独立 etcd 集群，减轻主库压力
• API Server：
  • 提升并发：--max-requests-inflight=1500、--max-mutating-requests-inflight=1000
  • 开启缓存：--enable-watch-cache=true
• Scheduler：
  • 提升 API 吞吐：--kube-api-qps=100、--kube-api-burst=200
  • 启用/调大调度缓存，加速大规模调度决策

五 调度与弹性扩缩容

• 资源与 QoS：
  • 为所有工作负载设置合理的 requests/limits，避免资源争用与 OOM
  • 关键业务使用 Guaranteed QoS（requests == limits）减少抖动
• 调度策略：
  • 合理使用 节点/Pod 亲和/反亲和、污点/容忍 实现拓扑与干扰隔离
  • 使用 TopologySpreadConstraints 均衡分布，提升容灾与性能稳定性
• 弹性伸缩：
  • HPA（基于 CPU/内存/自定义指标）应对流量波动
  • Cluster Autoscaler 结合节点池实现按需扩容，缩短排队与冷启动时间
• 监控与验证：
  • 建立 Prometheus + Grafana 监控面，关注 P99 延迟、调度成功率、APIServer 延迟、etcd 延迟/leader 变更、Pod 启动时长
  • 使用压测工具（如 k6/fortio/vegeta）与 eBPF/bcc 定位热点与瓶颈