qGPU容器產(chǎn)品全量上線，重磅發(fā)布GPU在離線混部功能

摘要

qGPU是騰訊云推出的GPU共享技術(shù)，支持在多個容器間共享GPU卡資源，提供百分比算力與MB級顯存細粒度分配和強隔離能力，并且搭配業(yè)界獨有的GPU在離線混部技術(shù)，在充分保證業(yè)務(wù)安全、穩(wěn)定的前提下，將GPU利用率提升到了極致。

qGPU已服務(wù)內(nèi)外部大量客戶，幫助眾多AI企業(yè)節(jié)省大量GPU成本。qGPU容器虛擬化產(chǎn)品現(xiàn)已在騰訊云TKE全量上線。（qGPU容器虛擬化產(chǎn)品：https://cloud.tencent.com/document/product/560/66232）

騰訊云在業(yè)界（除NVIDIA原廠外）首次實現(xiàn)了對細粒度算力強隔離的支持。qGPU算力可以實現(xiàn)1%的細粒度限制，并且保證嚴格按照配比分配和限制算力資源，即使在GPU資源非常緊張時，各業(yè)務(wù)所分配算力資源依然保證不受影響。依賴這種能力，企業(yè)用戶可以盡量多的增加業(yè)務(wù)部署密度，充分利用GPU資源，而不用擔心會對業(yè)務(wù)帶來負面影響。

qGPU依賴TKE自研調(diào)度器和設(shè)備管理器，在TKE Kubernetes集群上支持GPU卡級別的百分比算力和MB級顯存分配和調(diào)度，在保證集群最優(yōu)資源分配和負載的前提下，讓企業(yè)AI任務(wù)可以使用更小粒度的GPU資源。

qGPU在GPU硬件級（而非CUDA API級的攔截和控制）實現(xiàn)了QoS能力，通過MB級控制GPU顯存資源分配及細粒度的強算力隔離，最大程度避免了因共享GPU帶來的業(yè)務(wù)性能損失。通過這種創(chuàng)新技術(shù)，qGPU解決了故障、顯存和算力全維度的隔離問題。

除此之外，騰訊云qGPU創(chuàng)新性的將在離線混合部署技術(shù)與GPU相結(jié)合，在業(yè)界首次實現(xiàn)了GPU在離線混部的方案，將GPU容器共享技術(shù)推進到了下一個紀元。

在線業(yè)務(wù)通常指推理業(yè)務(wù)，離線業(yè)務(wù)可能是推理、也可能是訓練，于是在離線混部主要形式有推理+推理、推理+訓練。如果缺乏有效技術(shù)手段，為了保證在線業(yè)務(wù)的QoS，需要使之獨占一張GPU卡，這會導致利用率很低。在具備qGPU在離線混部能力之后，用戶可以安全地將在線業(yè)務(wù)與其他業(yè)務(wù)部署在同一張GPU卡，在共享復(fù)用資源的同時，可以完全保障在線業(yè)務(wù)健康、穩(wěn)定運行。

可以說，騰訊云qGPU在離線混部是提升GPU利用率的創(chuàng)新性的突破技術(shù)。利用領(lǐng)先的細粒度算力隔離技術(shù)和獨創(chuàng)的算力高低優(yōu)調(diào)度技術(shù)，在保證在線任務(wù)算力QoS的前提下，可以有效將GPU利用率提升至100%，極大程度減少算力浪費，將GPU資源壓榨到極致。

總結(jié)

算力異構(gòu)化已經(jīng)是今天的業(yè)界共識。其中GPU以其強大的算力和完善的生態(tài)，在AI異構(gòu)計算中占據(jù)了統(tǒng)治地位。面對昂貴的AI算力資源，企業(yè)迫切的希望有技術(shù)手段可以幫助降低成本，增加效率。

騰訊云qGPU立足AI領(lǐng)域，依托GPU資源細粒度調(diào)度、GPU資源強隔離、GPU在離線混部等技術(shù)產(chǎn)品，通過為企業(yè)提升GPU使用效率，釋放AI算力生產(chǎn)力，最終幫助企業(yè)帶來持續(xù)和不斷的巨大商業(yè)價值。