微軟生成式AI用Azure ND H100 v5 VM正式上線

微軟今年3月宣布開(kāi)放預(yù)覽的生成式人工智能專用虛擬機(jī)Azure ND H100 v5，現(xiàn)在正式上線，該虛擬機(jī)配備Nvidia H100 Tensor Core GPU與低延遲網(wǎng)絡(luò)設(shè)備，可用于執(zhí)行復(fù)雜的生成式人工智能運(yùn)算。另外，微軟也擴(kuò)大Azure OpenAI服務(wù)規(guī)模，添加在澳洲、亞洲和歐洲云計(jì)算地區(qū)提供服務(wù)。

Azure ND H100 v5的特色在于，配備8個(gè)Nvidia在2023年新推出的數(shù)據(jù)中心用H100 Tensor Core GPU，以及采用低延遲Quantum-2 ConnectX-7 InfiniBand網(wǎng)絡(luò)設(shè)備，每個(gè)虛擬機(jī)可擁有高達(dá)3.2 Tb/s的跨節(jié)點(diǎn)帶寬，相當(dāng)于每個(gè)GPU可獲得400 Gb/s的帶寬，確?？鏕PU的運(yùn)算性能。

Azure ND H100 v5的CPU使用第4代Intel Xeon Scalable處理器，而GPU與主機(jī)接口使用PCIe Gen5，每個(gè)GPU可以獲得64GB/s的帶寬，進(jìn)一步減少CPU和GPU間的傳輸瓶頸。

有了H100 Tensor Core GPU的加持，ND H100 v5運(yùn)算性能較上一代的虛擬機(jī)更好，由于H100支持FP8浮點(diǎn)數(shù)數(shù)據(jù)類型，因此ND H100 v5在矩陣運(yùn)算上，性能可為上一代ND A100 v4的6倍，執(zhí)行BLOOM 175B端到端大型語(yǔ)言模型推理，速度則是上一代的2倍。

盤點(diǎn)Nvidia在其2022 GTC大會(huì)中，預(yù)告將會(huì)部署H100執(zhí)行實(shí)例的云計(jì)算供應(yīng)商，目前正式推出的服務(wù)有AWS的Amazon EC2 P5，以及微軟Azure ND H100 v5，而Google云計(jì)算的A3，還有甲骨文OCI采用H100的執(zhí)行實(shí)例則仍在預(yù)覽測(cè)試階段。

除了Azure ND H100 v5虛擬機(jī)的正式推出外，微軟也宣布擴(kuò)大提供OpenAI GPT-4和GPT-35-Turbo的Azure OpenAI服務(wù)，除了原本的美國(guó)東部、美國(guó)中南、法國(guó)中部和西歐，現(xiàn)在更增加了澳洲東部、加拿大東部、美國(guó)東部2、日本東部和英國(guó)南部地區(qū)。