如何使用Kubeadm部署Kubernetes集群V1.15.3,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
我们使用最新的kubernetes v1.16.0搭建了集群,但是由于版本导致了遇到问题,首先是dashboard不兼容1.16.0的Api,其次是flannel-cni的问题,重新用稳定版v1.15.3部署
一、基础环境配置
1.准备三台虚拟机
docker 192.168.100.10
node01 192.168.100.11 kube-node01 master
node01 192.168.100.12 kube-node02 minion
node01 192.168.100.13 kube-node03 minion
2.配置hosts文件
cat >> /etc/hosts<<EOF
192.168.100.11 kube-node01
192.168.100.12 kube-node02
192.168.100.13 kube-node03
EOF
3.修改hostname文件
sudo hostnamectl set-hostname <newhostname>
4.关闭系统防火墙
systemctl stop firewalld && systemctl disable firewalld
5.禁用swap内存交换
swapoff -a
echo "swapoff -a" >>/etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
注意:或开机禁用swap: 编辑/etc/fstab --> 注释掉swap 分区
6.关闭selinux服务
临时关闭:setenforce 0 永久关闭:vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled 设置后需要重启才能生效,命令如下:
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
7.配置iptable管理ipv4/6请求
sudo echo "1" > /proc/sys/net/ipv4/ip_forward
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
执行 sysctl --system 使配置生效
8.校对系统时间
yum -y install ntp
systemctl start ntpd && systemctl enable ntpd
二、集群环境配置
1.安装docker服务
配置源wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
安装docker-ce容器服务
yum -y install docker-ce
查看docker版本号docker --version和详细信息docker info
添加开机自启动和启动服务systemctl enable docker && systemctl start docker
修改docker启动参数
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors": ["http://192.168.100.10"],
"insecure-registries":["192.168.100.10"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
修改docker的启动服务脚本docker.service:
在[Service]节点下增加
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT
修改完成使用systemctl daemon-reload && systemctl restart docker重启服务
2.安装Kubernetes组件
配置源cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装组件yum install -y kubelet-1.15.3 kubeadm-1.15.3 kubectl-1.15.3
3.配置启动kubelet 组件
配置kubelet使用国内pause镜像和配置kubelet的cgroups:
cgroups要和docker的配置一样,使用dokcer info可查看
vi /var/lib/kubelet/kubeadm-flags.env
vi /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
添加环境变量:
Environment="KUBELET_CGROUP_ARGS=--runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice"
并将环境变量KUBELET_CGROUP_ARGS写入启动参数
如果上面/var/lib/kubelet/kubeadm-flags.env没有cgroup-driver和pod-infra-container-image的信息,则写入/etc/sysconfig/kubelet的KUBELET_EXTRA_ARGS启动参数中加载
cat >/etc/sysconfig/kubelet<<EOF
KUBELET_EXTRA_ARGS=--cgroup-driver=systemd --pod-infra-container-image=192.168.100.10/kubernetes/pause:3.1
EOF
使配置生效:systemctl daemon-reload
添加自启动:systemctl enable kubelet
4.配置Master节点
在master节点上创建初始化脚本:vi /etc/kubernetes/conf/kubeadm-init.sh
kubeadm init \
--kubernetes-version=v1.16.0 \
--pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=192.168.100.11 \
--image-repository=192.168.100.10/kubernetes
修改脚本权限:chmod +x /etc/kubernetes/conf/kubeadm-init.sh
由于初始化时,默认会从k8s.gcr.io拉取镜像,该镜像被墙,这里从私有docker镜像库拉取,由--image-repository=192.168.100.10/kubernetes指定
私有docker镜像库搭建请参照我的另一篇:《Docker搭建私有镜像仓库》
5.初始化Master节点
初始化时及搭建集群过程中所需要的所有镜像我们都已托管到我们私有镜像仓库中:
执行/etc/kubernetes/conf/kubeadm-init.sh此时会初始化
注意:如果初始化过程出现问题,使用如下命令重置
kubeadm reset
rm -rf /var/lib/cni/ $HOME/.kube/config
初始化成功如下图:
kubeadm join 192.168.100.11:6443
--token qjqxwd.2k79lzjvxc3t6hsj
--discovery-token-ca-cert-hash sha256:091e12d369cd83fda3187b5eddb1d07db074b220ff32cb0f21d8b82fc19d4ccb
上面这一句是给其他节点加入集群用的,要保存下来,后面要用。
配置master上通过 kubectl 管理集群,执行下面的命令:
rm -rf $HOME/.kube
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
使用kubectl get nodes -owide查看刚初始化的主节点信息:
我们看到master节点的状态时未就绪状态,需要配置使用网络flannel插件:
下载flannel配置文件:
wget -P /etc/kubernetes/conf
https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
修改下载的flannel.yml文件,删除多余部分,并指定网卡信息:
启动flannel组件:kubectl apply -f /etc/kubernetes/conf/kube-flannel.yml
6.加入各Node节
在每个节点的机器上执行下面的加入集群的命令:
kubeadm join 192.168.100.11:6443
--token qjqxwd.2k79lzjvxc3t6hsj
--discovery-token-ca-cert-hash sha256:091e12d369cd83fda3187b5eddb1d07db074b220ff32cb0f21d8b82fc19d4ccb
7.部署Kubernetes Web
从kubernetes官方github下载配置文件:
wget /etc/kubernetes/conf https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
修改配置文件访问类型为:NodePort
启动webui组件:kubectl apply -f /etc/kubernetes/conf/kubernetes-dashboard.yaml
查看dashboard pod的状态:kubectl get pods -n kube-system -owide
然后通过:https://192.168.100.11:31080/访问
我们看到有两种访问方式,下面我们配置这两种访问方式:
我们创建dashboard用户yaml文件:
vi /etc/kubernetes/conf/kubernetes-dashboard-admin.yaml
# Create Dashboard Service Account apiVersion: v1 kind: ServiceAccount metadata: name: dashboard-admin-user namespace: kube-system --- # Create ClusterRoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRoleBinding metadata: name: dashboard-admin-user roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: dashboard-admin-user namespace: kube-system
然后kubectl apply -f /etc/kubernetes/conf/kubernetes-dashboard-user.yaml
完成后执行kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep dashboard-admin-user | awk '{print $1}') 查看token
获取的token即可用来在页面上输入登录:
eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdXNlci10b2tlbi13NGg1biIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdXNlciIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImNjNzE5NTMwLWY0NDAtNGNmYi1hNDkwLTZiZjkzNWNkMDYxOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTpkYXNoYm9hcmQtYWRtaW4tdXNlciJ9.No8ic7iNedWgX9iX1cIPHrK81vDTApsayPHm2U5No65yndQX7l_GgE8Ze-oTqx1JQVN85EWdJGM4T_LdbxflkIiBElmKRST7m3VpAeLgNl1f56NyyUwf0GEVzsdZdhb0E-i1DJO0ofXkqQiHwtcpWMmq4wqlYymu_fDxblJl4LzTpPUV89emPSQhSA3ZopbNBKJr6u5kRYgsTiz8EGAhRRqWGzCyEkyp8Y_SJlYsnXXx-F8gmneBiyaqeCrNiO71eczz6sQDsEI37fhxs41xeLJNF7sA2LihAE9KD3YBBgRjxxMmfmsGb-IkTn68bhhsHiCN0AMW5xJFSXNiLyWGMQ
此时的dashboard没有展示cpu、内存等图标可视化信息,我们需要安装heapster服务(因为dashboard要显示图表数据需要依赖heapster服务)
下载 heapster 相关 yaml 文件:
wget /etc/kubernetes/heapster https://raw.githubusercontent.com/kubernetes-retired/heapster/master/deploy/kube-config/influxdb/grafana.yaml
wget /etc/kubernetes/heapster https://raw.githubusercontent.com/kubernetes-retired/heapster/master/deploy/kube-config/influxdb/heapster.yaml
wget /etc/kubernetes/heapster https://raw.githubusercontent.com/kubernetes-retired/heapster/master/deploy/kube-config/influxdb/influxdb.yaml
wget /etc/kubernetes/heapster https://raw.githubusercontent.com/kubernetes-retired/heapster/master/deploy/kube-config/rbac/heapster-rbac.yaml
查看需要部署的镜像:
cat grafana.yaml | grep image
cat heapster.yaml | grep image
cat influxdb.yaml | grep image
修改yaml文件:
因为k8s高版本的api版本进行了变化,将上面四个yaml文件中的apiVersion: extensions/v1beta1 改为apiVersion: apps/v1
因为kubelet 只在 10250 监听 https 请求,将heapster.yaml中的- --source=kubernetes:https://kubernetes.default 修改为:
- --source=kubernetes:https://kubernetes.default?kubeletHttps=true&kubeletPort=10250&insecure=true
修改上面四个yaml文件中的spec节点,增加selector,如下图:
然后在heapster配置文件的当前目录下执行部署:kubectl apply -f .
注意:如果部署发生错误,我们执行kubectl delete -f . 进行回退
Heapster各个组件部署成功如下:
然后我们生成使用config登录的文件:
##将secret中的token使用base64方式进行解码,然后使用变量引用
DASH_TOCKEN=$(kubectl get secret -n kube-system dashboard-admin-token-q6pz8 -o jsonpath={.data.token}|base64 -d)
##创建一个集群
kubectl config set-cluster cluster-admin --server=192.168.100.11:6443 --kubeconfig=/etc/kubernetes/conf/dashbord-admin.conf
##创建一个集群用户,并引用sa的token
kubectl config set-credentials dashboard-admin-user --token=$DASH_TOCKEN --kubeconfig=/etc/kubernetes/conf/dashbord-admin.conf
##创建一个上下文,指定集群名、集群用户名
kubectl config set-context dashboard-admin-user@cluster-admin --cluster=cluster-admin --user=dashboard-admin-user
--kubeconfig=/etc/kubernetes/conf/dashbord-admin.conf
##设置集群中当前使用的用户
kubectl config use-context dashboard-admin-user@cluster-admin --kubeconfig=/etc/kubernetes/conf/dashbord-admin.conf
然后使用token或生成的文件登录成功如下:
8.验证集群状态
使用kubectl get nodes -n kube-system -owide 查看节点列表
使用kubectl get pods -n kube-system -owide查看pod列表
使用kubectl get svc -n kube-system -owide 查看服务列表
三、集群问题解决
1.初始化集群时:/proc/sys/net/ipv4/ip_forward contents are not set to 1
问题描述:执行kubeadm init时报出/proc/sys/net/ipv4/ip_forward contents are not set to 1的错误
解决方案:sudo echo "1" > /proc/sys/net/ipv4/ip_forward
2.部署heapster提示版本问题
问题描述:部署heapster 组件提示no matches for king “Deployment” in version “extensions/v1beta1”
解决方案:是因为k8s高版本的api版本进行了变化,将对应的yaml文件中的extensions/v1beta1 改为apiVersion: apps/v1
3.部署heapster提示selector错误
问题描述:部署heapster 组件提示missing required field "selector" in io.k8s.api.apps.v1.DeploymentSpec的错误
解决方案:修改heapster上面四个yaml文件中的spec节点,增加selector,如下图:
4.部署heapster后dashboard不显示图表信息
问题描述:heapster正常部署后,pods状态都正常,但是dashboard不显示图表信息
查看pods的日志,发现一直提示“403 Forbidden”, response: "Forbidden (user=system:serviceaccount:kube-system:heapster, verb=create, resource=nodes, subresource=stats)"
解决方案:
查看ClusterRole: system:heapster的权限,发现的确没有针对Resource: nodes/stats 的create权限
kubectl describe clusterrole system:heapster
添加Resource: nodes/stats的create权限,vi /etc/kubernetes/conf/heapster/heapster-role.yaml
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: annotations: rbac.authorization.kubernetes.io/autoupdate: "true" labels: kubernetes.io/bootstrapping: rbac-defaults name: system:heapster rules: - apiGroups: - "" resources: - events - namespaces - nodes - pods - nodes/stats verbs: - create - get - list - watch - apiGroups: - extensions resources: - deployments verbs: - get - list - watch
cd /etc/kubernetes/conf/heapster
kubectl delete -f .
kubectl apply -f .
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。