AWS數(shù)據(jù)庫(kù)、緩存、數(shù)據(jù)倉(cāng)庫(kù)邁向真正無(wú)服務(wù)器化與新量子芯片

《美國(guó)拉斯維加斯現(xiàn)場(chǎng)報(bào)道》AWS re:Invent 2023今日（27）在美國(guó)拉斯維加斯展開(kāi)，其公用運(yùn)算部門（Utility Computing）資深副總裁Peter DeSantis在晚間首場(chǎng)主題演講中，首度披露旗下三款云計(jì)算服務(wù)在無(wú)服務(wù)器功能方面皆有新的進(jìn)展，包括Aurora數(shù)據(jù)庫(kù)服務(wù)、ElastiCache緩存服務(wù)與Redshift數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，終于在技術(shù)持續(xù)精進(jìn)之下，達(dá)到他們心目中真正無(wú)服務(wù)器化的里程碑；同時(shí)也如以往發(fā)布硬件芯片的慣例，首度披露錯(cuò)誤率僅0.1%的新量子芯片。

Amazon Aurora是兼容于MySQL與PostgreSQL的云計(jì)算數(shù)據(jù)庫(kù)服務(wù)，AWS在2018年推出Aurora的首款無(wú)服務(wù)版本，接著在去年2022年推出Aurora Serverless V2第二版，賦予云計(jì)算數(shù)據(jù)庫(kù)服務(wù)更大的線上擴(kuò)展能力，不過(guò)雖然訴求數(shù)據(jù)庫(kù)用戶可在服務(wù)不中斷的情況下擴(kuò)展數(shù)據(jù)庫(kù)，但仍有一定容量的限制。

Aurora Serverless數(shù)據(jù)庫(kù)服務(wù)之所以能實(shí)現(xiàn)線上擴(kuò)展容量，DeSantis表示，主要是依賴虛擬化技術(shù)。AWS開(kāi)發(fā)了一個(gè)稱之為Caspian的虛擬層，由Caspian Heat Management System來(lái)管理實(shí)體主機(jī)如何分配虛擬內(nèi)存給數(shù)據(jù)庫(kù)。Aurora所使用的每一臺(tái)實(shí)體主機(jī)配置容量256GB的內(nèi)存，雖然Aurora數(shù)據(jù)庫(kù)打開(kāi)服務(wù)可以使用256GB內(nèi)存，但實(shí)體主機(jī)的內(nèi)存并不會(huì)因此而被完全占用，Caspian管理軟件會(huì)依據(jù)每個(gè)Aurora數(shù)據(jù)庫(kù)服務(wù)運(yùn)行所需配置適當(dāng)?shù)奈锢韮?nèi)存容量，因此每臺(tái)實(shí)體主機(jī)皆可承載多個(gè)Aurora數(shù)據(jù)庫(kù)服務(wù)，如此就可以極大化利用計(jì)算資源。

在上述機(jī)制下，當(dāng)一臺(tái)實(shí)體主機(jī)所承載的Aurora運(yùn)行所需內(nèi)存超過(guò)256GB，迫于內(nèi)存物理限制就必須轉(zhuǎn)移到另一臺(tái)主機(jī)。DeSantis指出，如此機(jī)制尚無(wú)法達(dá)到無(wú)服務(wù)器化可以自動(dòng)擴(kuò)展調(diào)整的最高境界，因此AWS繼而運(yùn)用數(shù)據(jù)庫(kù)分區(qū)（Sharding）技術(shù)，將單一數(shù)據(jù)庫(kù)分配到不同主機(jī)，以達(dá)到水平擴(kuò)展的能力。

數(shù)據(jù)庫(kù)分區(qū)并不難實(shí)現(xiàn)，DeSantis表示，但要達(dá)到自動(dòng)分配的境界，最難突破的關(guān)鍵在于數(shù)據(jù)路由與數(shù)據(jù)庫(kù)分區(qū)彈性擴(kuò)展的設(shè)計(jì)。為此AWS開(kāi)發(fā)出一個(gè)數(shù)據(jù)請(qǐng)求路由層（Request Routing Layer），它采取輕量化設(shè)計(jì)，具有快速反應(yīng)擴(kuò)展的特性，加諸分區(qū)彈性擴(kuò)展設(shè)計(jì)，則可達(dá)到跨區(qū)域執(zhí)行數(shù)據(jù)庫(kù)切片與重組，并確保數(shù)據(jù)庫(kù)的可靠度。

由于上述兩項(xiàng)技術(shù)的創(chuàng)新突破，DeSantis指出，AWS終于能在今年推出真正無(wú)服務(wù)器化的Aurora數(shù)據(jù)庫(kù)服務(wù)，稱之為Amazon Aurora Limitless Database，意指可不受單一數(shù)據(jù)庫(kù)的容量限制，皆可自動(dòng)擴(kuò)展配置而不影響數(shù)據(jù)庫(kù)運(yùn)行。

除了Aurora Limitless Database，AWS今天也推出緩存服務(wù)無(wú)服務(wù)器版本ElastiCache Serverless。DeSantis表示，這依賴第三項(xiàng)創(chuàng)新技術(shù)突破，也就是減少時(shí)鐘誤差范圍（Reducing Clock Error Bounds）。分布式運(yùn)算系統(tǒng)的數(shù)據(jù)同步需要依賴同步計(jì)時(shí)，他指出主要的三種做法，分別為Wall Clock（現(xiàn)實(shí)世界時(shí)間）、Logical Clock（邏輯時(shí)間）與單一TimeKeeper服務(wù)器，其中Wall Clock方式會(huì)因不同時(shí)鐘的差異而導(dǎo)致計(jì)時(shí)同步不可靠。

為了提供準(zhǔn)確的同步計(jì)時(shí)，AWS在2017年推出Amazon Time Sync Service，結(jié)合衛(wèi)星通信與原子鐘參照，提供與世界協(xié)調(diào)時(shí)間（UTC）誤差僅1毫秒（millisecond）的同步計(jì)時(shí)。但是，DeSantis指出，時(shí)間誤差1毫秒代表著總延遲時(shí)間是2毫秒，也即每秒500次交易的延遲速度，而這對(duì)于緩存的同步來(lái)說(shuō)太慢了。為此，AWS以Nitro網(wǎng)絡(luò)加速芯片為基礎(chǔ)設(shè)計(jì)一個(gè)分布式計(jì)時(shí)網(wǎng)絡(luò)，并搭配備援電力模塊與原子鐘，安裝在一個(gè)標(biāo)準(zhǔn)48U機(jī)柜，終于將同步計(jì)時(shí)誤差由毫秒縮短至微秒（microsecond）等級(jí)，其ElastiCache Serverless p50的延遲僅500微秒，并可支持最大5TB內(nèi)存容量。

至于在2021年推出的數(shù)據(jù)庫(kù)倉(cāng)儲(chǔ)服務(wù)無(wú)服務(wù)器版本Redshift Serverless，也有更進(jìn)一步的精進(jìn)。DeSantis表示，數(shù)據(jù)庫(kù)倉(cāng)儲(chǔ)不只是要應(yīng)對(duì)數(shù)據(jù)量，也得應(yīng)對(duì)運(yùn)算任務(wù)多樣化的需求。Redshift Serverless是由請(qǐng)求管理（Request Management）系統(tǒng)來(lái)判斷實(shí)體主機(jī)的負(fù)荷量，如果有運(yùn)算需求較大的ETL（Extract,Transform,Load）任務(wù)產(chǎn)生，若既有的主機(jī)無(wú)法承擔(dān)，請(qǐng)求管理系統(tǒng)就會(huì)將其分配到新的主機(jī)，但若既有的主機(jī)可以承擔(dān)，雖然該ETL任務(wù)可以分配到既有主機(jī)，但由于運(yùn)算需求大，完成運(yùn)算的時(shí)間較久，也會(huì)因此牽累該主機(jī)的其他運(yùn)算任務(wù)，導(dǎo)致時(shí)間拖延。

為了解決Redshift Serverless上述問(wèn)題，AWS在請(qǐng)求管理系統(tǒng)導(dǎo)入機(jī)器學(xué)習(xí)預(yù)測(cè)功能，DeSantis指出，其實(shí)數(shù)據(jù)分析任務(wù)有80%是雷同的，因此先以機(jī)器學(xué)習(xí)創(chuàng)建好這80%任務(wù)的模型，將其內(nèi)置在請(qǐng)求管理系統(tǒng)的緩存，加速其快速分析任務(wù)類型，同時(shí)，有另一個(gè)模型用來(lái)學(xué)習(xí)屬于個(gè)別企業(yè)組織慣用習(xí)慣的另外20%任務(wù)，讓請(qǐng)求管理層可以在接到任務(wù)時(shí)分析與預(yù)測(cè)其類型，據(jù)以分配合適的計(jì)算資源。而有了這項(xiàng)AI功能后，Amazon Redshift Serverless Next-generation AI-driven scaling and optimizations也提供用戶自行設(shè)置機(jī)器學(xué)習(xí)的政策，以在數(shù)據(jù)分析運(yùn)算時(shí)間與運(yùn)算成本之間有所取舍。

此外，AWS歷年來(lái)皆會(huì)利用re:Invent的首日晚間主題演講發(fā)布其在硬件芯片的著墨，今年也不例外，DeSantis首度公開(kāi)發(fā)布新的量子芯片，他表示，Aamzon量子運(yùn)算團(tuán)隊(duì)在量子糾錯(cuò)有重大的進(jìn)展，以邏輯量子位元的方式，將位元反轉(zhuǎn)（Bit-flip）與相位翻譯（Phase-flip）錯(cuò)誤分開(kāi)，DeSantis指出，借由被動(dòng)糾錯(cuò)方法，已可將錯(cuò)誤率降低100倍，達(dá)到0.1%，也即千分之一的錯(cuò)誤率，而硬件過(guò)熱也預(yù)期可減少6倍。不過(guò)，他也說(shuō)，雖然新芯片在量子糾錯(cuò)方面有重大的進(jìn)展，但現(xiàn)在尚于量子運(yùn)算發(fā)展非常早期的階段。

Amazon ElastiCache Serverless目前已可提供服務(wù)，Amazon Aurora Limitless Database與Amazon Redshift Serverless Next-generation AI-driven scaling and optimizations則提供預(yù)覽。