k8s在centos上的负载均衡

在 CentOS 上落地 Kubernetes 负载均衡

一、方案总览

面向应用的南北向流量：优先使用 Service: LoadBalancer（云上自动对接云LB）或 Ingress Controller（如 Nginx Ingress）承载 HTTP/HTTPS 与域名路由。
裸金属/私有环境：部署 MetalLB 提供 LoadBalancer 类型的外部 IP；或采用 Nginx/HAProxy + Keepalived 自建四层/七层负载均衡器。
面向集群控制面的高可用：用 Keepalived + HAProxy/Nginx 为 kube-apiserver 提供 VIP，保证 API 入口稳定与负载分担。
数据面转发优化：在 kube-proxy 启用 IPVS 模式以获得更高的吞吐与更低的连接开销。
以上路径覆盖从应用到控制面的主要负载均衡场景，可按环境组合使用。

二、面向应用的负载均衡

Service 类型选型与示例

ClusterIP：仅集群内部访问（默认）。
NodePort：在每个节点开放静态端口，便于外部访问或对接外部 LB。
LoadBalancer：请求云厂商创建外部负载均衡器（裸金属可配合 MetalLB）。

示例（NodePort，便于外部访问与测试）：

apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  selector:
    app: my-app
  ports:
    - protocol: TCP
      port: 80
      targetPort: 8080
      nodePort: 30080   # 可选：指定 30000-32767 范围
  type: NodePort

示例（LoadBalancer，云上或 MetalLB 环境）：

apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  selector:
    app: my-app
  ports:
    - protocol: TCP
      port: 80
      targetPort: 8080
  type: LoadBalancer

Ingress 承载 HTTP/HTTPS 路由

部署 Ingress Controller（如 Nginx Ingress），再创建 Ingress 资源：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: my-ingress
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
  - host: app.example.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: frontend-service
            port:
              number: 80

建议启用 HTTPS/TLS，对外暴露 443 端口并配置证书。

三、裸金属环境的 LoadBalancer 与高可用

自建四层/七层 LB（Nginx/HAProxy + Keepalived）
- 在两台或多台 CentOS 机器上安装 Keepalived + Nginx/HAProxy，为后端 NodePort 或后端服务端口提供 VIP 与故障切换。
- Keepalived 健康检查脚本示例（检查 kube-apiserver 或业务端口）：
```
#!/usr/bin/env bash
err=0
for k in $(seq 1 5); do
  check_code=$(pgrep kube-apiserver || ss -lntp | grep ':6443\|:80' | grep -q . && echo ok)
  if [[ $check_code == "" ]]; then
    err=$((err+1))
    sleep 5
    continue
  else
    err=0
    break
  fi
done
if [[ $err -ne 0 ]]; then
  systemctl stop keepalived
  exit 1
else
  exit 0
fi
```
- 典型架构：两台 LB（VIP: 192.168.121.100） 对 3 台 Master 的 6443/80 做四层转发与健康检查，实现 API Server 与业务入口的高可用。
使用 MetalLB 提供 LoadBalancer IP
- 在裸金属集群部署 MetalLB，为 Service type: LoadBalancer 分配可路由的 External IP，与 Ingress 配合即可对外提供稳定的 L4/L7 入口。

四、控制面入口的高可用

使用 Keepalived + HAProxy/Nginx 为 kube-apiserver 提供 VIP，所有 kubelet 与控制面组件均通过该 VIP 访问 API。
关键配置要点：
- state MASTER/BACKUP、priority 区分主备；virtual_router_id 一致；authentication 统一；virtual_ipaddress 配置 VIP。
- 健康检查脚本监控 kube-apiserver 进程或 6443 端口，异常时主动 stop keepalived 触发切换。
部署完成后，kubeadm 初始化/加入时把 controlPlaneEndpoint 指向 VIP，即可获得稳定的 API 入口与负载分担。

五、数据面转发与性能优化

在 kube-proxy 启用 IPVS 模式（推荐）：

加载内核模块：

cat >/etc/sysconfig/modules/ipvs.modules <<'EOF'
#!/bin/bash
ipvs_modules_dir="/usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs"
for i in $(ls $ipvs_modules_dir | sed -r 's#(.*)\.ko.*#\1#'); do
  /sbin/modinfo -F filename $i &>/dev/null && /sbin/modprobe $i
done
EOF
chmod +x /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules

在 kube-proxy 配置中设置 mode: ipvs，可获得更好的连接调度性能与可观测性（配合 ipvsadm 查看）。

操作系统与网络建议：

关闭 swap、按需调整 SELinux/firewalld、开启桥接流量转发：

swapoff -a
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
cat >/etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables  = 1
vm.swappiness = 0
EOF
sysctl --system

按需安装 ipvsadm/ebtables/ethtool 等工具以便排障与调优。

最新问答

相关标签