微軟生成式AI用Azure ND H100 v5 VM正式上線

微軟今年3月宣布開放預(yù)覽的生成式人工智能專用虛擬機Azure ND H100 v5，現(xiàn)在正式上線，該虛擬機配備Nvidia H100 Tensor Core GPU與低延遲網(wǎng)絡(luò)設(shè)備，可用于執(zhí)行復(fù)雜的生成式人工智能運算。另外，微軟也擴大Azure OpenAI服務(wù)規(guī)模，添加在澳洲、亞洲和歐洲云計算地區(qū)提供服務(wù)。

Azure ND H100 v5的特色在于，配備8個Nvidia在2023年新推出的數(shù)據(jù)中心用H100 Tensor Core GPU，以及采用低延遲Quantum-2 ConnectX-7 InfiniBand網(wǎng)絡(luò)設(shè)備，每個虛擬機可擁有高達3.2 Tb/s的跨節(jié)點帶寬，相當于每個GPU可獲得400 Gb/s的帶寬，確保跨GPU的運算性能。

Azure ND H100 v5的CPU使用第4代Intel Xeon Scalable處理器，而GPU與主機接口使用PCIe Gen5，每個GPU可以獲得64GB/s的帶寬，進一步減少CPU和GPU間的傳輸瓶頸。

有了H100 Tensor Core GPU的加持，ND H100 v5運算性能較上一代的虛擬機更好，由于H100支持FP8浮點數(shù)數(shù)據(jù)類型，因此ND H100 v5在矩陣運算上，性能可為上一代ND A100 v4的6倍，執(zhí)行BLOOM 175B端到端大型語言模型推理，速度則是上一代的2倍。

盤點Nvidia在其2022 GTC大會中，預(yù)告將會部署H100執(zhí)行實例的云計算供應(yīng)商，目前正式推出的服務(wù)有AWS的Amazon EC2 P5，以及微軟Azure ND H100 v5，而Google云計算的A3，還有甲骨文OCI采用H100的執(zhí)行實例則仍在預(yù)覽測試階段。

除了Azure ND H100 v5虛擬機的正式推出外，微軟也宣布擴大提供OpenAI GPT-4和GPT-35-Turbo的Azure OpenAI服務(wù)，除了原本的美國東部、美國中南、法國中部和西歐，現(xiàn)在更增加了澳洲東部、加拿大東部、美國東部2、日本東部和英國南部地區(qū)。