生命科學(xué)領(lǐng)域高性能計(jì)算的價(jià)值和挑戰(zhàn)
在生命科學(xué)領(lǐng)域,從基因組學(xué)分析到藥物研發(fā),高性能計(jì)算(以下簡(jiǎn)稱“HPC”)發(fā)揮著舉足輕重的重要作用。在基因組學(xué)分析過程中,HPC可以快速處理和分析大規(guī)?;蚪M數(shù)據(jù),幫助研究人員更快獲得基因組洞察,對(duì)于疾病研究和個(gè)性化醫(yī)療具有重要意義;在藥物研發(fā)方面,HPC用于虛擬藥物篩選、分子對(duì)接和蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)等復(fù)雜計(jì)算任務(wù)。由于這些任務(wù)需要處理海量數(shù)據(jù)并進(jìn)行高強(qiáng)度計(jì)算,HPC的應(yīng)用可以顯著縮短新藥研發(fā)周期,降低研發(fā)成本,從而為生命科學(xué)研究提供有力支持。
HPC環(huán)境是一個(gè)復(fù)雜而龐大的生態(tài)系統(tǒng),管理和運(yùn)維HPC平臺(tái)并確保系統(tǒng)穩(wěn)定高效運(yùn)行對(duì)企業(yè)來說面臨非常大的挑戰(zhàn)。如何減少行業(yè)客戶管理和運(yùn)維HPC任務(wù)的難度,降低使用過程中的學(xué)習(xí)成本,以及更好地釋放HPC環(huán)境的強(qiáng)大計(jì)算能力,這些都是企業(yè)在使用HPC時(shí)面臨的挑戰(zhàn)。
亞馬遜云科技賦能HPC
針對(duì)客戶需求和面臨的挑戰(zhàn),亞馬遜云科技提供了廣泛且深入的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、安全、云編排和可視化服務(wù),結(jié)合豐富的合作伙伴生態(tài)系統(tǒng),能夠運(yùn)行高度定制化和性能優(yōu)化的HPC任務(wù),全面支持生命科學(xué)領(lǐng)域的多樣化工作負(fù)載。借助亞馬遜云科技,客戶可以在幾分鐘內(nèi)啟動(dòng)由海量算力構(gòu)成的HPC集群,加速基因組學(xué)、計(jì)算化學(xué)、數(shù)據(jù)科學(xué)、影像組學(xué)等領(lǐng)域的創(chuàng)新進(jìn)程,并且僅需為實(shí)際使用的資源付費(fèi)。亞馬遜云科技還為不同客戶群體提供針對(duì)性更強(qiáng)的服務(wù)能力,確保滿足其特定需求,助力業(yè)務(wù)高效發(fā)展和創(chuàng)新突破。
-基礎(chǔ)設(shè)施層
在基礎(chǔ)設(shè)施層,亞馬遜云科技提供了超過800種實(shí)例類型并涵蓋多種GPU類型,以滿足不同計(jì)算需求。此外,亞馬遜云科技還提供豐富的存儲(chǔ)解決方案和數(shù)據(jù)傳輸工具,確??蛻裟軌蚋咝?、安全地進(jìn)行數(shù)據(jù)存儲(chǔ)和傳輸。通過這些靈活的基礎(chǔ)設(shè)施服務(wù),客戶可以輕松應(yīng)對(duì)多樣化的數(shù)據(jù)處理場(chǎng)景。亞馬遜云科技的可視化管理工具進(jìn)一步簡(jiǎn)化了任務(wù)的提交與結(jié)果的監(jiān)控,使用戶能夠直觀地管理和優(yōu)化其云端工作負(fù)載,提升運(yùn)營(yíng)效率和業(yè)務(wù)敏捷性。
-HPC平臺(tái)層
在HPC平臺(tái)層,亞馬遜云科技根據(jù)客戶的多樣化業(yè)務(wù)需求提供了多種定制化解決方案,包括基于傳統(tǒng)集群的Amazon ParallelCluster和Amazon SOCA方案,以及基于容器的Amazon Batch和Amazon HealthOmics方案。同時(shí),全面支持多種HPC框架,以確保客戶能夠靈活應(yīng)對(duì)復(fù)雜的計(jì)算任務(wù)。此外,亞馬遜云科技還提供了豐富的集群監(jiān)控和運(yùn)維管理工具,大幅提升了用戶的運(yùn)維效率。
-應(yīng)用構(gòu)建層
在應(yīng)用構(gòu)建層,無(wú)論是在組學(xué)分析、藥物研發(fā)還是影像組學(xué)領(lǐng)域,亞馬遜云科技憑借多年深耕行業(yè)所積累的豐富經(jīng)驗(yàn),依托HPC平臺(tái)良好的兼容性和可擴(kuò)展性,為用戶提供了可以快速構(gòu)建和基于特定場(chǎng)景的應(yīng)用和解決方案,從而快速開展分析工作,助力客戶加速創(chuàng)新。
Amazon ParallelCluster UI簡(jiǎn)化集群管理
Amazon ParallelCluster是HPC領(lǐng)域廣泛應(yīng)用的開源集群管理工具,能夠幫助用戶輕松在亞馬遜云科技上部署和管理HPC集群。為進(jìn)一步降低用戶在創(chuàng)建、管理和監(jiān)控Amazon ParallelCluster集群時(shí)的操作復(fù)雜性,亞馬遜云科技推出了Amazon ParallelCluster UI。該工具是一個(gè)基于Web的可視化管理界面,作為集群創(chuàng)建、監(jiān)控和管理的集中控制面板,與Amazon ParallelCluster深度集成。通過Amazon ParallelCluster UI,用戶可以輕松創(chuàng)建、更新和訪問HPC集群,大幅減少了管理和運(yùn)維云上HPC環(huán)境的技術(shù)門檻與復(fù)雜性。
Amazon ParallelCluster UI提供了一系列功能,旨在簡(jiǎn)化HPC集群的創(chuàng)建、管理和監(jiān)控。以下是其主要功能:
-集群管理:
查看所有Amazon ParallelCluster集群,包括每個(gè)集群的詳細(xì)信息和當(dāng)前狀態(tài)。
-集群狀態(tài)監(jiān)控:
監(jiān)控Amazon ParallelCluster集群日志,及時(shí)了解集群的運(yùn)行狀況和潛在問題。
-作業(yè)管理:
查看在集群上運(yùn)行的Slurm作業(yè)狀態(tài),方便用戶實(shí)時(shí)跟蹤任務(wù)進(jìn)度。
-用戶認(rèn)證管理:
支持和Amazon IAM Identity Center或Microsoft Entra ID的集成,實(shí)現(xiàn)用戶認(rèn)證管理。
客戶案例
-業(yè)務(wù)需求
某頭部制藥公司是一家立足于科學(xué)、具備全產(chǎn)業(yè)價(jià)值鏈運(yùn)營(yíng)能力,集研發(fā)、生產(chǎn)、銷售為一體的全球性生物科技公司。該公司在擴(kuò)展研發(fā)管線的同時(shí),借助HPC平臺(tái),從而進(jìn)一步提升研發(fā)效率,縮短研發(fā)周期。
-解決方案
借助Amazon ParallelCluster管理解決方案,統(tǒng)一部署管理和調(diào)度傳統(tǒng)數(shù)據(jù)分析和生成式AI創(chuàng)新應(yīng)用所需的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源。并且,基于該方案,可以根據(jù)業(yè)務(wù)的不同,選擇最佳的服務(wù)器類型及規(guī)格,彈性啟動(dòng)海量CPU或GPU資源,滿足包括小分子藥物優(yōu)化、抗體人源化、單細(xì)胞分析等業(yè)務(wù)場(chǎng)景的計(jì)算和AI建模需求。
-業(yè)務(wù)成果
新增管線CADD集群部署時(shí)間相較原來縮短了70%,顯著提升了部署和運(yùn)維效率。借助云端豐富的資源和集群的自動(dòng)彈性擴(kuò)展能力,作業(yè)提交后排隊(duì)時(shí)間從原有的數(shù)十小時(shí)縮短至5分鐘以內(nèi),并且如單細(xì)胞測(cè)序、分子對(duì)接等場(chǎng)景的作業(yè)效率也提升了數(shù)十倍,極大提高了業(yè)務(wù)計(jì)算的效率。