騰訊云：使用tke-autoscaling-placeholder實(shí)現(xiàn)秒級(jí)彈性伸縮

背景

當(dāng)TKE集群配置了節(jié)點(diǎn)池并啟用了彈性伸縮，在節(jié)點(diǎn)資源不夠時(shí)可以觸發(fā)節(jié)點(diǎn)的自動(dòng)擴(kuò)容(自動(dòng)買機(jī)器并加入集群)，但這個(gè)擴(kuò)容流程需要一定的時(shí)間才能完成，在一些流量突高的場(chǎng)景，這個(gè)擴(kuò)容速度可能會(huì)顯得太慢，影響業(yè)務(wù)。tke-autoscaling-placeholder可以用于在TKE上實(shí)現(xiàn)秒級(jí)伸縮，應(yīng)對(duì)這種流量突高的場(chǎng)景。

原理是什么？

tke-autoscaling-placeholder實(shí)際就是利用低優(yōu)先級(jí)的Pod對(duì)資源進(jìn)行提前占位(帶request的pause容器，實(shí)際不怎么消耗資源)，為一些可能會(huì)出現(xiàn)流量突高的高優(yōu)先級(jí)業(yè)務(wù)預(yù)留部分資源作為緩沖，當(dāng)需要擴(kuò)容Pod時(shí)，高優(yōu)先級(jí)的Pod就可以快速搶占低優(yōu)先級(jí)Pod的資源進(jìn)行調(diào)度，而低優(yōu)先級(jí)的tke-autoscaling-placeholder的Pod則會(huì)被"擠走"，狀態(tài)變成Pending，如果配置了節(jié)點(diǎn)池并啟用彈性伸縮，就會(huì)觸發(fā)節(jié)點(diǎn)的擴(kuò)容。這樣，由于有了一些資源作為緩沖，即使節(jié)點(diǎn)擴(kuò)容慢，也能保證一些Pod能夠快速擴(kuò)容并調(diào)度上，實(shí)現(xiàn)秒級(jí)伸縮。要調(diào)整預(yù)留的緩沖資源多少，可根據(jù)實(shí)際需求調(diào)整tke-autoscaling-placeholder的request或副本數(shù)。

有什么使用限制？

使用該應(yīng)用要求集群版本在1.18以上。

如何使用？

安裝tke-autoscaling-placeholder

在應(yīng)用市場(chǎng)找到tke-autoscaling-placeholder，點(diǎn)擊進(jìn)入應(yīng)用詳情，再點(diǎn)創(chuàng)建應(yīng)用:

選擇要部署的集群id與namespace，應(yīng)用的配置參數(shù)中最重要的是replicaCount與resources.request，分別表示tke-autoscaling-placeholder的副本數(shù)與每個(gè)副本占位的資源大小，它們共同決定緩沖資源的大小，可以根據(jù)流量突高需要的額外資源量來估算進(jìn)行設(shè)置。

最后點(diǎn)擊創(chuàng)建，你可以查看這些進(jìn)行資源占位的Pod是否啟動(dòng)成功:

$ kubectl get pod -n default

tke-autoscaling-placeholder-b58fd9d5d-2p6ww   1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-55jw7     1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-6rq9r      1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-7c95t      1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-bfg8r      1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-cfqt6       1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-gmfmr    1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-grwlh      1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-ph7vl      1/1     Running     0          8s

tke-autoscaling-placeholder-b58fd9d5d-xmrmv    1/1     Running     0          8s

tke-autoscaling-placeholder的完整配置參考下面的表格:

部署高優(yōu)先級(jí)Pod

tke-autoscaling-placeholder的優(yōu)先級(jí)很低，我們的業(yè)務(wù)Pod可以指定一個(gè)高優(yōu)先的PriorityClass，方便搶占資源實(shí)現(xiàn)快速擴(kuò)容，如果沒有可以先創(chuàng)建一個(gè):

apiVersion: scheduling.k8s.io/v1

kind: PriorityClass

metadata:

  name: high-priority

value: 1000000

globalDefault: false

description: "high priority class"

在我們的業(yè)務(wù)Pod中指定priorityClassName為高優(yōu)先的PriorityClass:

apiVersion: apps/v1

kind: Deployment

metadata:

  name: nginx

spec:

  replicas: 8

  selector:

    matchLabels:

      app: nginx

  template:

    metadata:

      labels:

        app: nginx

    spec:

      priorityClassName: high-priority # 這里指定高優(yōu)先的 PriorityClass

      containers:

      - name: nginx

        image: nginx

        resources:

          requests:

            cpu: 400m

            memory: 800Mi

當(dāng)集群節(jié)點(diǎn)資源不夠，擴(kuò)容出來的高優(yōu)先級(jí)業(yè)務(wù)Pod就可以將低優(yōu)先級(jí)的tke-autoscaling-placeholder的Pod資源搶占過來并調(diào)度上，然后tke-autoscaling-placeholder的Pod再Pending:

$ kubectl get pod -n default

NAME                                   READY   STATUS    RESTARTS   AGE

nginx-bf79bbc8b-5kxcw         1/1     Running            0          23s