新版GKE可管理最多6.5萬集群節(jié)點(diǎn)，超越AWS、Azure 10倍

Google Cloud公布最新Google Kubernetes Engine版本，號稱可支持最高達(dá)65,000個節(jié)點(diǎn)的服務(wù)器集群，以執(zhí)行超大型AI模型。

生成式AI技術(shù)演進(jìn)及應(yīng)用普及，推升了大型語言模型（LLM）規(guī)模及參數(shù)量也越來越大，目前許多已突破千億參數(shù)，甚至有些來到2兆。而訓(xùn)練這些大型模型的加速器，需要超過1萬個節(jié)點(diǎn)的運(yùn)算基礎(chǔ)架構(gòu)。

Google Kubernetes Engine（GKE）向來可支持多節(jié)點(diǎn)集群，以執(zhí)行AI模型訓(xùn)練任務(wù)。先前版本GKE可支持1.5萬個集群節(jié)點(diǎn)，隨著新版推出，現(xiàn)在GKE可支持高達(dá)6.5萬個節(jié)點(diǎn)的集群。Google認(rèn)為最新GKE支持的節(jié)點(diǎn)規(guī)模，是Amazon和微軟的10倍以上。

以Google Cloud而言，現(xiàn)在單一節(jié)點(diǎn)提供了多個加速器，像是搭載4顆芯片的Cloud TPU v5e節(jié)點(diǎn)，因此單一集群使用最新版GKE后，最多可管理超過25萬顆加速器。

Google說明新版GKE較前代的創(chuàng)新。首先，該公司將Key-Value數(shù)據(jù)庫由etcd換成了以Google Spanner為基礎(chǔ)的key-value數(shù)據(jù)庫，后者幾乎規(guī)模無上限，可改善集群運(yùn)行（如啟動和更新）延遲性，及無狀態(tài)集群控制層（control plane）。Google并實(shí)例etcd API以提供回溯兼容性，使核心Kubernetes無需變更。

其次，Google改善了管理Kubernetes控制層的GKE基礎(chǔ)架構(gòu)，使GKE現(xiàn)在擴(kuò)展速度更快，改善的控制層有多重效益，包括能執(zhí)行高一致性的大容量運(yùn)算?？刂茖蝇F(xiàn)在能自動應(yīng)對運(yùn)算調(diào)節(jié)，并使延遲性維持在可預(yù)測范圍。這點(diǎn)對執(zhí)行大移動態(tài)應(yīng)用如SaaS、災(zāi)難恢復(fù)和備援、批次部署以及測試環(huán)境來說尤其重要。

有了新版GKE，Google Cloud強(qiáng)調(diào)更能支持AI模型任務(wù)。訓(xùn)練AI模型時企業(yè)需要分配計算資源給多個工作負(fù)載，因此將任務(wù)集中在少量集群可提供最大調(diào)度彈性，執(zhí)行推論、研究和訓(xùn)練的作業(yè)。Google說，由于支持6.5萬個節(jié)點(diǎn)，現(xiàn)在GKE允許單一集群執(zhí)行5種任務(wù)，每種任務(wù)的執(zhí)行性能，都足以媲美2023年Google Cloud以5萬余顆TPU v5e，締造的10 exa-FLOPs的LLM訓(xùn)練速度世界紀(jì)錄。