H100 GPU驅(qū)動(dòng)運(yùn)算，AWS最新P5執(zhí)行實(shí)例供云計(jì)算客戶采用

AWS（Amazon Web Services，亞馬遜云計(jì)算服務(wù)）日前在紐約峰會(huì)（AWS Summit New York 2023）宣布Amazon Elastic Compute Cloud（EC2）P5執(zhí)行實(shí)例正式提供客戶采用，這是下一代的GPU執(zhí)行實(shí)例，由最新NVIDIA H100 Tensor Core GPU驅(qū)動(dòng)運(yùn)行，滿足云計(jì)算客戶在執(zhí)行AI、機(jī)器學(xué)習(xí)、高性能計(jì)算對(duì)高性能和高擴(kuò)展性的工作需求。

今年3月AWS與NVIDIA宣布一項(xiàng)多方合作，打造全球最具可擴(kuò)展性且按需求付費(fèi)的AI基礎(chǔ)設(shè)施，以便訓(xùn)練日益復(fù)雜的大型語(yǔ)言模型、開發(fā)生成式AI的應(yīng)用程序。當(dāng)時(shí)AWS便預(yù)告由H100 GPU驅(qū)動(dòng)的Amazon EC2 P5執(zhí)行實(shí)例，為打造和訓(xùn)練更大規(guī)模的機(jī)器學(xué)習(xí)模型提供高達(dá)20 exaFLOPS的算力，如今正式提供給客戶。

Amazon EC2 P5執(zhí)行實(shí)例提供8個(gè)H100 GPU，具有640GB高帶寬GPU內(nèi)存，同時(shí)提供第三代AMD EPYC處理器、2TB系統(tǒng)內(nèi)存以及30TB本地NVMe存儲(chǔ)。此外，還提供3200Gbps的聚合網(wǎng)絡(luò)帶寬并支持GPUDirect RDMA，能夠繞過CPU進(jìn)行節(jié)點(diǎn)間通信，達(dá)到更低延遲和高效橫向擴(kuò)展性能。

適合訓(xùn)練和執(zhí)行越來越復(fù)雜的大型語(yǔ)言模型和計(jì)算機(jī)視覺模型的Amazon EC2 P5執(zhí)行實(shí)例，可滿足密集運(yùn)算的生成式AI應(yīng)用需求，包括問答、產(chǎn)生程序代碼、產(chǎn)生圖片和視頻、語(yǔ)音識(shí)別等。對(duì)于需要高性能計(jì)算的客戶采用Amazon EC2 P5執(zhí)行實(shí)例，能夠更大規(guī)模地部署在藥物開發(fā)、地震分析、天氣預(yù)報(bào)、金融建模等高需求的應(yīng)用程序。

與上一代以GPU為基礎(chǔ)的執(zhí)行實(shí)例相比，Amazon EC2 P5執(zhí)行實(shí)例可將訓(xùn)練時(shí)間縮減6倍，換句話說可從幾天縮短到幾小時(shí)的時(shí)間，幫助客戶節(jié)省多達(dá)40%的訓(xùn)練成本。

（首圖來源：NVIDIA）