微軟發(fā)布Azure ND H100 v5虛擬機，配備8個英偉達H100 GPU

IT之家 11月21日消息，微軟Azure AI基礎設施迎來升級，推出了ND H100 v5虛擬機系列，這款虛擬機配備了英偉達H100 Tensor Core圖形處理單元（GPU）和低延遲網(wǎng)絡。

據(jù)介紹，微軟全新發(fā)布Azure ND H100 v5虛擬機（VM）系列，現(xiàn)已在美國東部和美國中南部Azure區(qū)域提供。

該系列配備了最新的英偉達H100 Tensor Core GPU和英偉達Quantum-2 InfiniBand網(wǎng)絡，用于應對AI工作負載帶來的日益增加的復雜性。作為微軟在AI領域深入和持續(xù)投資的一部分，微軟正在利用一個AI優(yōu)化的4K GPU集群，并將在明年將其擴展到數(shù)十萬個全新的GPU。

IT之家匯總ND H100 v5 VM虛擬機系列的特性：

·AI超級計算GPU：配備了八個英偉達H100 Tensor Core GPU。比起上一代虛擬機，該系列可讓AI模型顯著提速。

·新一代計算機處理單元（CPU）：CPU性能對于AI的訓練和推理至關重要，微軟選擇了第四代英特爾Xeon Scalable處理器。

·低延遲網(wǎng)絡：采用英偉達Quantum-2 ConnectX-7 InfiniBand，每個GPU擁有400Gb/s、每個VM擁有3.2 Tb/s的跨節(jié)點帶寬。

·優(yōu)化主機到GPU的性能：通過PCIe Gen5提供每個GPU 64GB/s的帶寬。

·大規(guī)模的內(nèi)存和內(nèi)存帶寬：DDR5內(nèi)存是該系列虛擬機的核心，提供更高的數(shù)據(jù)傳輸速度和效率。

微軟表示，該系列虛擬機使用新的8位FP8浮點數(shù)據(jù)類型進行矩陣乘法操作時，速度提升了六倍，比前一代的FP16更快。ND H100 v5 VM幫助大型語言模型（如BLOOM 175B端到端模型）實現(xiàn)了最高兩倍的推理速度提升。