Debian如何优化Kubernetes资源分配

Debian上优化Kubernetes资源分配

一 基础与系统层优化

• 关闭 swap：Kubelet 默认要求关闭 swap，避免影响调度与 OOM 行为。执行：sudo swapoff -a && sudo sed -i '/ swap / s/^/#/' /etc/fstab。
• 内核网络与桥接：启用 overlay/br_netfilter 并开启桥接流量进入 iptables，保证 Pod 网络与策略生效。
  配置示例：
  sudo tee /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF
sudo modprobe overlay && sudo modprobe br_netfilter
sudo tee /etc/sysctl.d/99-kubernetes-k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
sudo sysctl --system
• 容器运行时：安装并启用 containerd 作为容器运行时，确保与 kubelet 版本匹配。
• 节点标签与能力：为节点打上能力标签（如 disk=ssd、gpu=nvidia），便于后续亲和性调度与资源隔离。
• 专用硬件资源管理：如部署 GPU，部署 NVIDIA Device Plugin 并在 Pod 中以资源名 nvidia.com/gpu 申请，例如：limits: { nvidia.com/gpu: "1" }。

二 工作负载资源配置

• Requests 与 Limits：为容器设置合理的 requests/limits，既保证调度所需的最小资源，又避免单容器无限占用。
  示例：
  resources:
requests:
cpu: "500m"
memory: "512Mi"
limits:
cpu: "1"
memory: "1Gi"
• QoS 等级与驱逐优先级：
  • Guaranteed（requests == limits）：关键业务，资源紧张时最后被驱逐。
  • Burstable（仅部分设置 requests 或 limits 不等）：通用服务。
  • BestEffort（未设置）：批处理/可中断任务，资源紧张时优先驱逐。
• 命名空间级治理：
  • ResourceQuota：限制命名空间总资源与对象数量。
    示例：
    hard:
pods: "50"
requests.cpu: "4"
requests.memory: "4Gi"
limits.cpu: "8"
limits.memory: "8Gi"
  • LimitRange：为未显式声明的容器设置默认/最小请求与限制，避免“无请求”上线。
• 自动伸缩：
  • HPA（v2）：基于 CPU/内存/自定义指标 自动扩缩副本数，平滑应对流量波动。
    示例：
    metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 70
  • VPA（可选）：基于历史与实时使用自动建议/更新 requests/limits，适合有明显季节性或阶段性负载的应用。

三 调度策略与碎片治理

• 节点亲和/反亲和：将负载调度到具备特定标签的节点，或将同一应用的多个副本分散到不同节点，提升可用性与资源利用。
  示例：
  affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: disk
operator: In
values: ["ssd"]
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values: ["myapp"]
topologyKey: kubernetes.io/hostname
• 拓扑感知与装箱策略：结合节点 NUMA 拓扑进行 CPU 绑定，减少争用；调度器启用如 NodeResourcesBalancedAllocation 等评分插件，偏向均衡装箱，降低碎片。
• 碎片治理流程：
  1. 用 kubectl top pods 与监控定位热点与空转；
  2. 调整 requests/limits 贴近真实使用；
  3. 通过 PodAffinity/AntiAffinity 合并/打散负载；
  4. 借助 HPA 让副本数与负载匹配，减少“空壳副本”占用。

四 监控 告警与容量规划

• 指标与可视化：部署 Metrics Server，使用 Prometheus + Grafana 采集并可视化 CPU/内存/网络/调度 等关键指标，设置阈值告警。
• 容量与扩缩容闭环：基于监控数据定期评估 requests/limits 与副本数，结合 HPA 实现弹性；对大促/峰值场景预设 minReplicas 与资源上限，避免雪崩。
• 例行维护：保持 Kubernetes 与组件 的版本更新，获取调度器与运行时优化、漏洞修复与性能改进。

五 快速检查清单