騰訊云Serverless聯(lián)合Second State戰(zhàn)略布局AI推理

人臉識(shí)別、體感測(cè)溫、圖片轉(zhuǎn)文字等AI推理函數(shù)在許多場(chǎng)景已經(jīng)得到了成熟應(yīng)用。從AI算法到數(shù)據(jù)準(zhǔn)備、再到訓(xùn)練模型，這一過程已經(jīng)有成熟的工具支持。但是如何將訓(xùn)練好的AI模型帶到生產(chǎn)環(huán)境，一直是極具挑戰(zhàn)的問題。

在服務(wù)器上部署AI推理軟件（比如Tensorflow的服務(wù)器版，或者使用AI SaaS云服務(wù)，都可以在一定程度上解決這個(gè)問題，但是，部署自己的服務(wù)器需要在生產(chǎn)環(huán)境中運(yùn)維復(fù)雜的AI軟件棧，并且需要為閑置資源付費(fèi)；使用AI SaaS云服務(wù)則會(huì)受到SaaS云服務(wù)對(duì)模型以及數(shù)據(jù)處理邏輯的限制。

近日，騰訊云Serverless與Second State戰(zhàn)略布局AI推理函數(shù)，使開發(fā)者方便快捷地在生產(chǎn)環(huán)境中部署自己開發(fā)的AI推理函數(shù)，并且不用運(yùn)維，自動(dòng)伸縮，按使用付費(fèi)。為開發(fā)者賦能，在保證用戶體驗(yàn)的前提下降低成本。

Serverless讓AI推理函數(shù)更加簡單

Serverless被認(rèn)為是繼虛擬機(jī)和容器之后，第三代通用計(jì)算平臺(tái)。作為一種新型的開發(fā)架構(gòu)，Serverless具備低成本、低故障風(fēng)險(xiǎn)、高擴(kuò)展性以及交付周期短等優(yōu)勢(shì)。Serverless能夠讓開發(fā)者更加聚焦業(yè)務(wù)本身，而無需關(guān)注復(fù)雜的服務(wù)器配置和管理，省去了大量的運(yùn)維操作。

2020年第一季度，F(xiàn)orrester發(fā)布的《The Forrester New Wave:Function-as-a-Service Platforms,Q1 2020》報(bào)告中，騰訊云FaaS能力憑借在產(chǎn)品體驗(yàn)、安全性、戰(zhàn)略愿景等方面的優(yōu)勢(shì)，綜合評(píng)分位居全球前三，中國第一，成為中國唯一進(jìn)入全球Top3的云廠商，F(xiàn)orrester官方給予“強(qiáng)勁表現(xiàn)者”評(píng)價(jià)。

同時(shí)，根據(jù)Grand View Search在2020年6月發(fā)布的報(bào)告，AI市場(chǎng)在2020年將達(dá)到624億美元，并且從2020年到2027年，AI市場(chǎng)的復(fù)合年增長率為42.2%，也就是說AI市場(chǎng)在2027年將達(dá)到7337億美元的規(guī)模，將AI部署在Serverless平臺(tái)上是未來的趨勢(shì)。

Second State與騰訊云Serverless的技術(shù)合作打通了將AI模型帶到生產(chǎn)環(huán)境的最后一關(guān)?；隍v訊云Serverless custom runtime、Serverless Framework、WebAssembly虛擬機(jī)SSVM，Second State與騰訊云Serverless發(fā)布了一個(gè)方便易用的Serverless AI推理云函數(shù)模板。在這個(gè)模板的基礎(chǔ)上，開發(fā)者可以依據(jù)自己的場(chǎng)景需求更改模板中的AI模型以及業(yè)務(wù)邏輯，然后直接部署云函數(shù)并且看到結(jié)果，從而極大降低了AI推理的使用門檻。

通過Serverless架構(gòu)部署AI推理云函數(shù)，開發(fā)者無需關(guān)注底層架構(gòu)，只用關(guān)注選擇哪種模型及開發(fā)其相應(yīng)的業(yè)務(wù)代碼即可。這既避免了使用傳統(tǒng)服務(wù)器的資源閑置及高昂成本，也避免了SaaS的限制。

具體而言，騰訊云Serverless為AI推理云函數(shù)提供了1毫秒計(jì)費(fèi)、按需付費(fèi)、彈性伸縮、秒級(jí)部署、免運(yùn)維等優(yōu)勢(shì)。

云計(jì)算中的WebAssembly

WebAssembly最初是發(fā)源于瀏覽器的技術(shù)。隨著技術(shù)的不斷發(fā)展，WebAssembly的沙箱隔離機(jī)制帶來了安全性，同時(shí)又不失性能。這些特點(diǎn)使WebAssembly逐漸成為了服務(wù)端開發(fā)者的重要工具。

隨著WASI（WebAssembly System Interface）的提出，WebAssembly在服務(wù)端的潛力愈發(fā)明顯。

2019年，Docker的聯(lián)合創(chuàng)始人Solomon Hykes發(fā)推稱，如果WASM+WASI在2008年就存在了，那也就沒必要?jiǎng)?chuàng)建Docker了。服務(wù)端的WebAssembly就是這么重要。

本次騰訊云Serverless與Second State發(fā)布的Serverless AI推理函數(shù)就使用了WebAssembly虛擬機(jī)SSVM。SSVM是針對(duì)服務(wù)端優(yōu)化的WebAssembly虛擬機(jī)，特別適合AI、大數(shù)據(jù)等計(jì)算密集型場(chǎng)景。根據(jù)IEEE Software發(fā)表的《A Lightweight Design for High-performance Serverless Computing》，SSVM是目前市場(chǎng)上最快的WebAssembly虛擬機(jī)。

SSVM添加了類WASI的擴(kuò)展wasi-tensorflow，使TensorFlow模型能夠以硬件速度運(yùn)行。WebAssembly虛擬機(jī)在這個(gè)過程中提供了安全性、可移植性和開發(fā)者易用性。

本次發(fā)布的Serverless AI推理函數(shù)的另一個(gè)亮點(diǎn)是它是用Rust語言編寫的。Rust因具有內(nèi)存安全、高性能等特點(diǎn)而深受開發(fā)者喜愛。Rust連續(xù)五年被Stack Overflow用戶選為最受歡迎的編程語言。我們認(rèn)為Rust與WebAssembly的黃金組合非常適合計(jì)算密集型任務(wù)。

“Rust與WebAssembly的結(jié)合約等于Java與JVM，是下一代云計(jì)算的未來?！盨econd State的Michael Yuan博士在Rust China Conf分享道。

未來，Second State將與騰訊云Serverless繼續(xù)深耕產(chǎn)品，共同探索與實(shí)踐Serverless AI推理的應(yīng)用，為廣大企業(yè)與開發(fā)者賦能。