一文詳解如何統(tǒng)籌管理Azure HPC資源

NO.5

云籌決算專刊?Azure計算系列

CPU、GPU、RAM……

高性能計算（HPC）涉及的基礎(chǔ)設(shè)施紛繁多樣

應(yīng)該如何統(tǒng)籌管理

本文詳解Azure Batch

與Azure HPC Cache

拉滿計算性能

01

Azure Batch

通過Azure Batch在Azure中高效運行大規(guī)模并行和高性能計算（HPC）批處理作業(yè)。Azure Batch創(chuàng)建和管理計算節(jié)點（虛擬機）池，安裝要運行的應(yīng)用程序，并安排作業(yè)在節(jié)點上運行。無需安裝、管理或擴展集群或作業(yè)調(diào)度程序軟件。相反，用戶可以使用Batch API和工具、命令行腳本或Azure門戶來配置、管理和監(jiān)視用戶的作業(yè)。Azure Batch不會將用戶數(shù)據(jù)移出或存儲到其部署的區(qū)域之外。

開發(fā)人員可以使用Batch作為平臺服務(wù)來構(gòu)建需要大規(guī)模執(zhí)行的SaaS應(yīng)用程序或用戶端應(yīng)用程序。例如，用戶可以使用Batch構(gòu)建一個服務(wù)來為金融服務(wù)公司運行蒙特卡羅風(fēng)險模擬，或者構(gòu)建一個服務(wù)來處理許多圖像。使用Batch不收取額外費用。用戶只需為消耗的底層資源付費，及計算單元虛擬機、存儲和網(wǎng)絡(luò)。

通過使用渲染工具（包括Autodesk Maya、3ds Max、Arnold和V-Ray），Batch支持大規(guī)模渲染工作負(fù)載。用戶還可以將Batch作業(yè)作為更大的Azure工作流的一部分來運行，以轉(zhuǎn)換由其他工具管理的數(shù)據(jù)，如Azure數(shù)據(jù)工廠等。

Batch可以很好地處理本質(zhì)上并行（也稱為“令人尷尬的并行”）工作負(fù)載。這些工作負(fù)載具有可以獨立運行的應(yīng)用程序，每個部分完成總工作流的部分工作。當(dāng)應(yīng)用程序正在執(zhí)行時，程序可能會需要訪問一些公共數(shù)據(jù)，但這些正在運行的程序不會與應(yīng)用程序的其他實例進行通信。因此，本質(zhì)上并行的工作負(fù)載可以大規(guī)模運行就取決于是否可以同時運行應(yīng)用程序的計算資源量。

用戶通過使用Batch來運行的一些本質(zhì)上并行的工作負(fù)載的示例：

·使用蒙特卡羅模擬的金融風(fēng)險建模

·VFX和3D圖像渲染

·圖像分析與處理

·媒體轉(zhuǎn)碼

·基因序列分析

·光學(xué)字符識別（OCR）

·數(shù)據(jù)攝取、處理和ETL操作

·軟件測試執(zhí)行

Batch的一個常見使用場景涉及在計算節(jié)點池上擴展本質(zhì)上并行的工作，例如3D場景的圖像渲染。這個池可以是用戶的“渲染農(nóng)場”，為用戶的渲染工作提供數(shù)十、數(shù)百甚至數(shù)千個內(nèi)核。下圖顯示了常見Batch工作流中的步驟，其中用戶端應(yīng)用程序或托管服務(wù)使用Batch運行并行工作負(fù)載。

使用Batch的一種通用流程：

1.將輸入文件和處理這些文件的應(yīng)用程序上傳到用戶的Azure存儲帳戶。

2.在用戶的Batch帳戶中創(chuàng)建一個Batch計算節(jié)點池，一個在池上運行工作負(fù)載的作業(yè)，以及作業(yè)中的任務(wù)。

3.將輸入文件和應(yīng)用程序下載到Batch

4.監(jiān)控任務(wù)執(zhí)行及進度

5.上傳任務(wù)輸出

6.下載輸出文件

更多Azure Batch詳細(xì)信息請參考：

https://learn.microsoft.com/en-us/azure/batch/

02

Azure HPC Cache（緩存）

Azure HPC緩存可加快對高性能計算（HPC）任務(wù)數(shù)據(jù)的訪問速度。通過在Azure中緩存文件，Azure HPC緩存將云計算的可擴展性帶入用戶現(xiàn)有的工作流程。該服務(wù)甚至可以用于通過WAN鏈接存儲的數(shù)據(jù)的工作流，如在用戶的本地數(shù)據(jù)中心網(wǎng)絡(luò)附加存儲（NAS）環(huán)境中。

Azure HPC緩存能很容易得從Azure門戶啟動和監(jiān)控?，F(xiàn)有的NFS存儲或新的Blob容器均可以成為其聚合命名空間的一部分，這使得用戶端訪問變得簡單，即使用戶更改了后端存儲目標(biāo)。

Azure HPC緩存最適合以下類型的工作流，以提高工作效率：

·讀取密集型文件訪問工作流

·存儲在NFS可訪問存儲、Azure Blob或兩者中均有的數(shù)據(jù)

·多達75,000個CPU內(nèi)核的計算場

Azure HPC緩存可以添加到許多行業(yè)的各種工作流中。任何需要大量機器以低延遲大規(guī)模訪問一組文件的系統(tǒng)都將從該服務(wù)中受益。以下給出了具體示例：在媒體和娛樂領(lǐng)域，Azure HPC緩存可以加快時間關(guān)鍵渲染項目的數(shù)據(jù)訪問。VFX渲染工作流程通常需要大量通過計算節(jié)點進行的“最后時刻“運算。這些工作流的數(shù)據(jù)通常位于本NAS環(huán)境中。Azure HPC緩存可以在云中緩存該文件數(shù)據(jù)，以減少延遲并增強按需渲染的靈活性。其他具有具體案例的細(xì)分領(lǐng)域包括生命科學(xué)、半導(dǎo)體設(shè)計檢驗、金融服務(wù)分析等。

Azure HPC Cache駐留在單個區(qū)域中。如果用戶將它連接到位于其他區(qū)域的Blob容器，HPC Cafche可以訪問存儲在其他區(qū)域中的數(shù)據(jù)。Cache不會永久存儲用戶數(shù)據(jù)。

更多Azure HPC Cache詳細(xì)信息請參考：

https://learn.microsoft.com/en-us/azure/hpc-cache/

「云」籌決算

計算資源上云融合，性能不斷攀高。微軟Azure特推出「云」籌決算?？?，詳解Azure HPC高性能云計算產(chǎn)品服務(wù)矩陣，如何集成計算、網(wǎng)絡(luò)和存儲資源，為應(yīng)用程序和并行工作負(fù)載釋放超強算力。