H100 GPU驅(qū)動運算，AWS最新P5執(zhí)行實例供云計算客戶采用

AWS（Amazon Web Services，亞馬遜云計算服務(wù)）日前在紐約峰會（AWS Summit New York 2023）宣布Amazon Elastic Compute Cloud（EC2）P5執(zhí)行實例正式提供客戶采用，這是下一代的GPU執(zhí)行實例，由最新NVIDIA H100 Tensor Core GPU驅(qū)動運行，滿足云計算客戶在執(zhí)行AI、機器學(xué)習(xí)、高性能計算對高性能和高擴展性的工作需求。

今年3月AWS與NVIDIA宣布一項多方合作，打造全球最具可擴展性且按需求付費的AI基礎(chǔ)設(shè)施，以便訓(xùn)練日益復(fù)雜的大型語言模型、開發(fā)生成式AI的應(yīng)用程序。當(dāng)時AWS便預(yù)告由H100 GPU驅(qū)動的Amazon EC2 P5執(zhí)行實例，為打造和訓(xùn)練更大規(guī)模的機器學(xué)習(xí)模型提供高達(dá)20 exaFLOPS的算力，如今正式提供給客戶。

Amazon EC2 P5執(zhí)行實例提供8個H100 GPU，具有640GB高帶寬GPU內(nèi)存，同時提供第三代AMD EPYC處理器、2TB系統(tǒng)內(nèi)存以及30TB本地NVMe存儲。此外，還提供3200Gbps的聚合網(wǎng)絡(luò)帶寬并支持GPUDirect RDMA，能夠繞過CPU進(jìn)行節(jié)點間通信，達(dá)到更低延遲和高效橫向擴展性能。

適合訓(xùn)練和執(zhí)行越來越復(fù)雜的大型語言模型和計算機視覺模型的Amazon EC2 P5執(zhí)行實例，可滿足密集運算的生成式AI應(yīng)用需求，包括問答、產(chǎn)生程序代碼、產(chǎn)生圖片和視頻、語音識別等。對于需要高性能計算的客戶采用Amazon EC2 P5執(zhí)行實例，能夠更大規(guī)模地部署在藥物開發(fā)、地震分析、天氣預(yù)報、金融建模等高需求的應(yīng)用程序。

與上一代以GPU為基礎(chǔ)的執(zhí)行實例相比，Amazon EC2 P5執(zhí)行實例可將訓(xùn)練時間縮減6倍，換句話說可從幾天縮短到幾小時的時間，幫助客戶節(jié)省多達(dá)40%的訓(xùn)練成本。

（首圖來源：NVIDIA）