IBM又開源一內(nèi)部項(xiàng)目

IBM近日宣布，已將其用于公司內(nèi)部的ModelMesh模型服務(wù)開源，并貢獻(xiàn)給KServe開源社區(qū)。ModelMesh專為大規(guī)模、高密度和頻繁變化的模型用例而設(shè)計(jì)，可以幫助開發(fā)者擴(kuò)展Kubernetes。

模型服務(wù)是人工智能領(lǐng)域的一個(gè)重要組成部分。它使用人工智能模型中提供的推理來(lái)響應(yīng)用戶的請(qǐng)求。那些接觸過(guò)企業(yè)級(jí)機(jī)器學(xué)習(xí)應(yīng)用的用戶或開發(fā)者應(yīng)該知道，它們通常不是由一個(gè)模型提供推理，實(shí)際上是由數(shù)百甚至數(shù)千個(gè)模型在串聯(lián)運(yùn)行。由于AI模型的計(jì)算成本很高，因?yàn)槟悴豢赡茉诿看我峁┱?qǐng)求時(shí)都啟動(dòng)一個(gè)專用容器。

除此之外，因?yàn)榇嬖谝恍┫拗?，這對(duì)在Kubernetes集群上部署大量模型的開發(fā)者來(lái)說(shuō)也是一個(gè)挑戰(zhàn)：

·計(jì)算資源限制

·最大pod限制（Kubernetes建議每個(gè)節(jié)點(diǎn)最多有100個(gè)pods）

·最大IP地址限制（一個(gè)擁有4096個(gè)IP的集群可以部署大約1000到4000個(gè)模型）

IBM通過(guò)其專有的ModelMesh模型服務(wù)管理層為Watson產(chǎn)品（如Watson Assistant、Watson Natural Language Understanding和Watson Discovery）解決了這個(gè)難題。由于這些模型已經(jīng)在生產(chǎn)環(huán)境中運(yùn)行了多年時(shí)間，ModelMesh已經(jīng)針對(duì)各種場(chǎng)景進(jìn)行了全面測(cè)試?，F(xiàn)在，IBM將這一管理層與控制器組件以及模型服務(wù)運(yùn)行時(shí)一起貢獻(xiàn)給了開源社區(qū)。

ModelMesh使開發(fā)者能夠在Kubernetes之上以"極大規(guī)模"部署AI模型。它具有緩存管理的功能，也充當(dāng)一個(gè)平衡推理請(qǐng)求的路由。模型被智能地放置在pods中，并且能夠適應(yīng)臨時(shí)中斷。開發(fā)者無(wú)需任何外部協(xié)調(diào)機(jī)制就可以輕松升級(jí)部署的ModelMesh。它可以自動(dòng)確保一個(gè)模型在路由新的請(qǐng)求之前已經(jīng)完全更新和加載。

IBM用一些統(tǒng)計(jì)數(shù)據(jù)解釋了ModelMesh的可擴(kuò)展性：

一個(gè)部署在單個(gè)工作節(jié)點(diǎn)8vCPU x 64G集群上的ModelMesh實(shí)例能夠打包2萬(wàn)個(gè)簡(jiǎn)單字符串模型。除了密度測(cè)試之外，我們還通過(guò)發(fā)送數(shù)千個(gè)并發(fā)推理請(qǐng)求來(lái)對(duì)ModelMesh服務(wù)進(jìn)行負(fù)載測(cè)試，以模擬高流量的假日?qǐng)鼍?，所有加載的模型都以個(gè)位數(shù)毫秒的延遲做出響應(yīng)。我們的實(shí)驗(yàn)表明，單個(gè)工作節(jié)點(diǎn)支持2萬(wàn)個(gè)模型，每秒最多1000個(gè)查詢，并以個(gè)位數(shù)毫秒的延遲響應(yīng)推理任務(wù)。

ModelMesh與KServe相結(jié)合，還將為部署在生產(chǎn)中的模型增加可信的人工智能指標(biāo)，如可解釋性與公平性。目前該項(xiàng)目已托管至GitHub平臺(tái)，可點(diǎn)擊鏈接進(jìn)一步了解該項(xiàng)目。

相關(guān)鏈接：https://github.com/kserve/modelmesh-serving