一文詳解如何統(tǒng)籌管理Azure HPC資源

NO.5

云籌決算?？?Azure計(jì)算系列

CPU、GPU、RAM……

高性能計(jì)算（HPC）涉及的基礎(chǔ)設(shè)施紛繁多樣

應(yīng)該如何統(tǒng)籌管理

本文詳解Azure Batch

與Azure HPC Cache

拉滿計(jì)算性能

01

Azure Batch

通過Azure Batch在Azure中高效運(yùn)行大規(guī)模并行和高性能計(jì)算（HPC）批處理作業(yè)。Azure Batch創(chuàng)建和管理計(jì)算節(jié)點(diǎn)（虛擬機(jī)）池，安裝要運(yùn)行的應(yīng)用程序，并安排作業(yè)在節(jié)點(diǎn)上運(yùn)行。無需安裝、管理或擴(kuò)展集群或作業(yè)調(diào)度程序軟件。相反，用戶可以使用Batch API和工具、命令行腳本或Azure門戶來配置、管理和監(jiān)視用戶的作業(yè)。Azure Batch不會(huì)將用戶數(shù)據(jù)移出或存儲(chǔ)到其部署的區(qū)域之外。

開發(fā)人員可以使用Batch作為平臺(tái)服務(wù)來構(gòu)建需要大規(guī)模執(zhí)行的SaaS應(yīng)用程序或用戶端應(yīng)用程序。例如，用戶可以使用Batch構(gòu)建一個(gè)服務(wù)來為金融服務(wù)公司運(yùn)行蒙特卡羅風(fēng)險(xiǎn)模擬，或者構(gòu)建一個(gè)服務(wù)來處理許多圖像。使用Batch不收取額外費(fèi)用。用戶只需為消耗的底層資源付費(fèi)，及計(jì)算單元虛擬機(jī)、存儲(chǔ)和網(wǎng)絡(luò)。

通過使用渲染工具（包括Autodesk Maya、3ds Max、Arnold和V-Ray），Batch支持大規(guī)模渲染工作負(fù)載。用戶還可以將Batch作業(yè)作為更大的Azure工作流的一部分來運(yùn)行，以轉(zhuǎn)換由其他工具管理的數(shù)據(jù)，如Azure數(shù)據(jù)工廠等。

Batch可以很好地處理本質(zhì)上并行（也稱為“令人尷尬的并行”）工作負(fù)載。這些工作負(fù)載具有可以獨(dú)立運(yùn)行的應(yīng)用程序，每個(gè)部分完成總工作流的部分工作。當(dāng)應(yīng)用程序正在執(zhí)行時(shí)，程序可能會(huì)需要訪問一些公共數(shù)據(jù)，但這些正在運(yùn)行的程序不會(huì)與應(yīng)用程序的其他實(shí)例進(jìn)行通信。因此，本質(zhì)上并行的工作負(fù)載可以大規(guī)模運(yùn)行就取決于是否可以同時(shí)運(yùn)行應(yīng)用程序的計(jì)算資源量。

用戶通過使用Batch來運(yùn)行的一些本質(zhì)上并行的工作負(fù)載的示例：

·使用蒙特卡羅模擬的金融風(fēng)險(xiǎn)建模

·VFX和3D圖像渲染

·圖像分析與處理

·媒體轉(zhuǎn)碼

·基因序列分析

·光學(xué)字符識(shí)別（OCR）

·數(shù)據(jù)攝取、處理和ETL操作

·軟件測(cè)試執(zhí)行

Batch的一個(gè)常見使用場(chǎng)景涉及在計(jì)算節(jié)點(diǎn)池上擴(kuò)展本質(zhì)上并行的工作，例如3D場(chǎng)景的圖像渲染。這個(gè)池可以是用戶的“渲染農(nóng)場(chǎng)”，為用戶的渲染工作提供數(shù)十、數(shù)百甚至數(shù)千個(gè)內(nèi)核。下圖顯示了常見Batch工作流中的步驟，其中用戶端應(yīng)用程序或托管服務(wù)使用Batch運(yùn)行并行工作負(fù)載。

使用Batch的一種通用流程：

1.將輸入文件和處理這些文件的應(yīng)用程序上傳到用戶的Azure存儲(chǔ)帳戶。

2.在用戶的Batch帳戶中創(chuàng)建一個(gè)Batch計(jì)算節(jié)點(diǎn)池，一個(gè)在池上運(yùn)行工作負(fù)載的作業(yè)，以及作業(yè)中的任務(wù)。

3.將輸入文件和應(yīng)用程序下載到Batch

4.監(jiān)控任務(wù)執(zhí)行及進(jìn)度

5.上傳任務(wù)輸出

6.下載輸出文件

更多Azure Batch詳細(xì)信息請(qǐng)參考：

https://learn.microsoft.com/en-us/azure/batch/

02

Azure HPC Cache（緩存）

Azure HPC緩存可加快對(duì)高性能計(jì)算（HPC）任務(wù)數(shù)據(jù)的訪問速度。通過在Azure中緩存文件，Azure HPC緩存將云計(jì)算的可擴(kuò)展性帶入用戶現(xiàn)有的工作流程。該服務(wù)甚至可以用于通過WAN鏈接存儲(chǔ)的數(shù)據(jù)的工作流，如在用戶的本地?cái)?shù)據(jù)中心網(wǎng)絡(luò)附加存儲(chǔ)（NAS）環(huán)境中。

Azure HPC緩存能很容易得從Azure門戶啟動(dòng)和監(jiān)控。現(xiàn)有的NFS存儲(chǔ)或新的Blob容器均可以成為其聚合命名空間的一部分，這使得用戶端訪問變得簡(jiǎn)單，即使用戶更改了后端存儲(chǔ)目標(biāo)。

Azure HPC緩存最適合以下類型的工作流，以提高工作效率：

·讀取密集型文件訪問工作流

·存儲(chǔ)在NFS可訪問存儲(chǔ)、Azure Blob或兩者中均有的數(shù)據(jù)

·多達(dá)75,000個(gè)CPU內(nèi)核的計(jì)算場(chǎng)

Azure HPC緩存可以添加到許多行業(yè)的各種工作流中。任何需要大量機(jī)器以低延遲大規(guī)模訪問一組文件的系統(tǒng)都將從該服務(wù)中受益。以下給出了具體示例：在媒體和娛樂領(lǐng)域，Azure HPC緩存可以加快時(shí)間關(guān)鍵渲染項(xiàng)目的數(shù)據(jù)訪問。VFX渲染工作流程通常需要大量通過計(jì)算節(jié)點(diǎn)進(jìn)行的“最后時(shí)刻“運(yùn)算。這些工作流的數(shù)據(jù)通常位于本NAS環(huán)境中。Azure HPC緩存可以在云中緩存該文件數(shù)據(jù)，以減少延遲并增強(qiáng)按需渲染的靈活性。其他具有具體案例的細(xì)分領(lǐng)域包括生命科學(xué)、半導(dǎo)體設(shè)計(jì)檢驗(yàn)、金融服務(wù)分析等。

Azure HPC Cache駐留在單個(gè)區(qū)域中。如果用戶將它連接到位于其他區(qū)域的Blob容器，HPC Cafche可以訪問存儲(chǔ)在其他區(qū)域中的數(shù)據(jù)。Cache不會(huì)永久存儲(chǔ)用戶數(shù)據(jù)。

更多Azure HPC Cache詳細(xì)信息請(qǐng)參考：

https://learn.microsoft.com/en-us/azure/hpc-cache/

「云」籌決算

計(jì)算資源上云融合，性能不斷攀高。微軟Azure特推出「云」籌決算?？斀釧zure HPC高性能云計(jì)算產(chǎn)品服務(wù)矩陣，如何集成計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源，為應(yīng)用程序和并行工作負(fù)載釋放超強(qiáng)算力。