Google云計(jì)算正式推出無(wú)服務(wù)器開(kāi)源集群運(yùn)算框架Spark服務(wù)(Serverless Spark),官方提到,這是目前市面上第一個(gè)可自動(dòng)擴(kuò)展的無(wú)服務(wù)器Spark服務(wù),另外,Google還讓云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)BigQuery連接無(wú)服務(wù)器Spark計(jì)算資源,BigQuery用戶現(xiàn)在可以使用無(wú)服務(wù)器Spark,和BigQuery SQL進(jìn)行資料分析。這些功能更新的目標(biāo),都是要讓用戶能更簡(jiǎn)單地運(yùn)行大規(guī)模ETL和數(shù)據(jù)科學(xué)等使用案例。
由于Apache Spark所提供的速度、簡(jiǎn)易性和程序語(yǔ)言靈活性,使得不少企業(yè)應(yīng)用Apache Spark來(lái)進(jìn)行資料工程、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等任務(wù),但Google提到,管理集群和調(diào)整基礎(chǔ)設(shè)施的效率很差,針對(duì)不同使用案例的集成程序,可能會(huì)大幅消耗生產(chǎn)力。
而Google提供無(wú)服務(wù)器Spark,供用戶專注于程序代碼和邏輯設(shè)計(jì),不再需要管理集群和調(diào)整基礎(chǔ)設(shè)施,通過(guò)選擇的接口就能上傳Spark作業(yè),無(wú)服務(wù)器Spark會(huì)自動(dòng)處理規(guī)??s放,來(lái)符合任務(wù)的需要。
另外,Google也開(kāi)始提供BigQuery實(shí)現(xiàn)無(wú)服務(wù)器Spark功能預(yù)覽版,通過(guò)提供統(tǒng)一接口,供資料分析師在BigQuery編輯器中,編寫(xiě)SQL和PySpark程序代碼,并且不需要配置基礎(chǔ)設(shè)施,就能無(wú)縫地使用Spark執(zhí)行。Google正努力在各種接口,集成無(wú)服務(wù)器Spark服務(wù),使得用戶不需要預(yù)先配置任何基礎(chǔ)設(shè)施,便可以激活Spark,接下來(lái)還要讓用戶在全托管機(jī)器學(xué)習(xí)平臺(tái)Vertex AI,也能用到Spark。