最近把一套K8S集群的Nginx Ingress Controller从v0.33升级到了v1.0.5，属于主版本升级，在这里整理一下升级的过程和遇到的问题。 这套k8s集群的信息如下:

  • k8s版本为v1.21.5
  • 使用Ingress将集群外部http流量接入到集群内部，当前集群中共有三十多个Ingress资源
  • ingress controller使用的是https://github.com/kubernetes/ingress-nginx/，版本是v0.33，基于yaml文件格式的Manifest部署

升级前的准备工作

修改集群中的Ingress资源使其与1.x版本的Nginx Ingress Controller以及后续版本的k8s(>=1.22)兼容，修改主要涉及两个方面:

  • 将集群中Ingress资源还在使用apiVersion: networking.k8s.io/v1beta1的API版本修改到apiVersion: networking.k8s.io/v1。networking.k8s.io/v1beta1 API从k8s 1.19被标记为废弃，将在k8s 1.22被移除。借着这次升级ingress controller的机会，将集群中的Ingress的API版本统一更新一下。
  • 将集群中所有Ingress资源的Manifest的spec下加入: ingressClassName: nginx。从Nginx Ingress Controller 1.0.0开始，安装Nginx Ingress Controller需要一个IngressClass对象，这样集群中的Ingress资源就可以配置使用不同的Ingress Controller。

下面是一个具体的Ingress示例，apiVersion指定了networking.k8s.io/v1了，ingressClassName: nginx指定了这个Ingress将使用名称为nginx的IngressClass对应的Ingress Controller:

 1apiVersion: networking.k8s.io/v1
 2kind: Ingress
 3metadata:
 4  name: kubernetes-dashboard
 5  namespace: kube-system
 6  annotations:
 7    nginx.ingress.kubernetes.io/ssl-redirect: "false"
 8    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
 9spec:
10  ingressClassName: nginx
11  tls:
12  - hosts:
13    - k8s.example.com
14    secretName: example-com-tls-secret
15  rules:
16  - host: k8s.example.com
17    http:
18      paths:
19      - path: /
20        pathType: Prefix
21        backend:
22          service:
23           name: kubernetes-dashboard
24           port:
25             number: 443

升级Nginx Ingress Controller

因为旧的v0.33版本的Nginx Ingress Controller是基于yaml文件格式的Manifest部署，新的v1.0.5版本想用helm来部署。在升级前使用kubectl delete命令删除v0.33的资源，注意这会导致集群中的Ingress暴露的应用无法访问，所以升级操作在晚上进行，使用helm安装v1.0.5操作同步进行。

helm chart使用的是提前从https://github.com/kubernetes/ingress-nginx/releases下载的ingress-nginx-4.0.9.tgz。需要针对你的集群定制一个这个chart的Values文件values.yaml：

 1imagePullSecrets: 
 2- name: regsecret
 3
 4controller:
 5  config:
 6    use-forwarded-headers: "true"
 7    proxy-set-headers: "ingress-nginx/custom-headers"
 8  updateStrategy:
 9    rollingUpdate:
10      maxUnavailable: 1
11    type: RollingUpdate
12  ingressClassResource:
13    name: nginx
14    enabled: true
15    default: false
16    controllerValue: "k8s.io/ingress-nginx"
17  admissionWebhooks:
18    enabled: false
19  replicaCount: 3
20  image:
21    registry: registry.example.com
22    image: image/nginx-ingress-controller
23    tag: "v1.0.5"
24    digest: sha256:bc30cb296e7548162afd9601f6b96261dcca8263e05b962694d1686b4d5a9584
25  hostNetwork: true
26  nodeSelector:
27    node-role.kubernetes.io/edge: ''
28  affinity:
29    podAntiAffinity:
30        requiredDuringSchedulingIgnoredDuringExecution:
31        - labelSelector:
32            matchExpressions:
33            - key: app
34              operator: In
35              values:
36              - nginx-ingress
37            - key: component
38              operator: In
39              values:
40              - controller
41          topologyKey: kubernetes.io/hostname
42  tolerations:
43      - key: node-role.kubernetes.io/master
44        operator: Exists
45        effect: NoSchedule
46      - key: node-role.kubernetes.io/master
47        operator: Exists
48        effect: PreferNoSchedule

定制的Values文件由以下基本分组成:

  • 1~2行为从私有镜像库registry.example.com拉取镜像的image pull secret的名称，对应的secret需要提前创建好
  • 5~7行为往nginx ingress controller的ConfigMap中添加的配置信息，更多的配置可以从https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/中找到
  • 12~16行为nginx ingress controller所需的IngressClass资源配置，这里配置表示创建了名称为nginx的IngressClass，并绑定k8s.io/ingress-nginxController即IngressClass nginx对应nginx ingress controller
  • 20~24行指定nginx ingress controller的私有镜像库及地址
  • 25行指定controller的网络使用hostNetwork。通过26行~48行调度相关的配置，在我们的集群中将3个controller的pod实例调度到集群中三台角色为edge的专门用来运行controller的k8s node上

安装命令如下:

1helm install ingress-nginx ingress-nginx-4.0.9.tgz --history-max 5 --create-namespace -n ingress-nginx -f values.yaml

安装后，如果values.yaml有更新，使用下面的命令更新:

1helm upgrade ingress-nginx ingress-nginx-4.0.9.tgz --history-max 5 -n ingress-nginx -f values.yaml

参考