Ubuntu Kubernetes 网络带宽优化实战
一 基线评估与瓶颈定位
- 建立可复现的带宽基线：在节点与跨节点分别运行 iperf3 测试（例如节点内 Pod→Pod、节点间 Pod→Pod、NodePort/LoadBalancer 到 Pod），记录吞吐、抖动、丢包、重传等指标，便于优化前后对比。示例：在服务器端启动 iperf3 -s，客户端执行 iperf3 -c <server_ip> -P 4 -t 30。
- 排除物理与宿主机因素：核查交换机/网卡是否支持并启用巨型帧（Jumbo Frames，MTU 9000）、链路聚合（LACP）、宿主机内核/驱动版本、CPU/中断亲和性等。
- 检查拓扑与亲和性：将高吞吐、强耦合的服务尽量调度到同一节点以减少跨机网络开销；必要时使用反亲和/亲和规则进行拓扑约束。
- 排查网络插件与 kube-proxy 路径：确认 CNI 转发路径、是否走 overlay（如 VXLAN）、以及 kube-proxy 的工作模式（iptables/ipvs）对性能的影响。
二 面向 Cilium 的高性能网络优化
- 启用 Cilium 带宽管理器（Bandwidth Manager）：为面向外部的网络设备配置FQ 队列、将 TCP 拥塞控制切换为BBR（需Linux Kernel ≥ 5.18），并应用面向服务器的 sysctl 优化，可显著改善吞吐与延迟，同时支持 Pod 的带宽注解（kubernetes.io/ingress-bandwidth、egress-bandwidth）。
- 选择高效数据面路径：启用Native Routing替代 overlay；将IP 伪装（Masquerading）切换为基于 eBPF 的模式；在条件允许时开启DSR（Direct Server Return）的 NodePort；按需启用Host Routing（BPF）与IPv6 BIG TCP（Kernel ≥ 5.19）。
- 加速与调优细节：在支持驱动上启用XDP 加速；按需调整 eBPF Map Size；将MTU 调整为 9000（全链路一致）；内核建议≥ 5.10（BPF Host Routing）或≥ 5.18（BBR）。
- 示例（Helm values，按实际环境调整）：
- 启用带宽管理器与 BBR：
- –set bandwidthManager.enabled=true
- –set bpf.preallocateMaps=true
- –set kubeProxyReplacement=strict
- –set nodePort.dsr.enabled=true
- 启用 Native Routing 与 BPF Masquerade：
- –set routingMode=native
- –set masquerade=false
- –set enableIPv4Masquerade=false
- –set enableIPv6Masquerade=false
- 可选：Host Routing（BPF）
- 可选：IPv6 BIG TCP（需内核 ≥ 5.19）
- –set ipv6.enabled=true
- –set bpf.ipfrag=true
注：启用 Bandwidth Manager 后，Cilium 会在外部网卡上配置FQ 队列并默认使用BBR，有利于提升吞吐与降低排队时延。
三 系统内核与主机网络调优
- 队列与拥塞控制：为面向公网/大流量的网卡配置多队列 Qdisc 与 FQ（Fair Queue），并将 TCP 拥塞控制设为BBR（需Linux Kernel ≥ 5.18），在长肥链路上通常获得更高吞吐与更低排队时延。
- 中断与 CPU 亲和：停止或限制irqbalance，将网卡中断绑定到专用 CPU，减少抖动；将 CPU 置于performance模式；使用 tuned 的 network-throughput 或 network-latency 配置。
- 内核与驱动：升级至较新稳定内核与网卡驱动；如硬件支持，启用XDP以获得更快的转发路径。
- 巨帧与链路：在交换机、宿主机、容器网卡上统一MTU=9000，并启用**链路聚合（LACP）**提升链路带宽与冗余。
四 拓扑与 kube-proxy 优化
- 拓扑感知调度：通过Pod 亲和/反亲和让通信密集的服务尽量落在同一节点，显著降低跨节点流量与封装开销。
- 服务转发路径：将 kube-proxy 切换为 IPVS 模式（调度器可选 rr），在高并发短连接场景通常优于 iptables。
- 服务暴露策略：在 Cilium 环境下优先使用ClusterIP + Ingress/Service LB；跨节点高吞吐场景可启用 NodePort DSR 减少返回路径的封装与回程开销。
五 验证与落地清单
- 验证方法：
- 使用 iperf3 进行节点内/跨节点/Pod→Service多场景测试，关注吞吐、P95/P99 延迟、丢包、重传；对比优化前后差异。
- 核查队列与拥塞控制：ip -s link、ss -ti、tc -s qdisc、sysctl net.core.default_qdisc / net.ipv4.tcp_congestion_control。
- 核查 CNI 与 kube-proxy：cilium status、cilium bpf bandwidth list、kubectl get configmap kube-proxy -n kube-system -oyaml。
- 落地清单（建议顺序）：
- 基线测试与拓扑梳理 → 升级内核/驱动与启用巨帧 → 调整中断与 CPU 亲和 → 优化 kube-proxy 为 IPVS → 部署/升级 Cilium 并启用 Bandwidth Manager、Native Routing、BPF Masquerade、DSR → 回归测试与容量评估。
- 风险提示：修改 MTU、队列、中断绑定、内核参数可能影响稳定性；请在灰度/维护窗口内操作，并保留回滚方案。
