云原生、存算一體、持久化，阿里云內(nèi)存數(shù)據(jù)庫(kù)Tair出世不凡

（文/鄒大斌）2020年“雙十一”已經(jīng)落幕。數(shù)據(jù)顯示，11月1日至11日天貓“雙十一”訂單創(chuàng)建峰值達(dá)58.3萬(wàn)筆/秒，11月1日0點(diǎn)-11日零時(shí)30分，天貓成交額破3723億元，雙雙再創(chuàng)新高。阿里天貓系統(tǒng)再次通過(guò)這場(chǎng)一年一度的“大考”。

在每年的“大考”中，是否能平穩(wěn)地應(yīng)對(duì)訂單高峰時(shí)的流量，系統(tǒng)不崩潰、用戶(hù)體驗(yàn)不下降，是通過(guò)“考試”的關(guān)鍵，為此，阿里的技術(shù)人員一直持續(xù)不斷地研發(fā)技術(shù)、打磨產(chǎn)品，云原生內(nèi)存數(shù)據(jù)庫(kù)Tair就是其中最關(guān)鍵的產(chǎn)品之一。從2009年Tair首次應(yīng)用在淘寶核心業(yè)務(wù)系統(tǒng)，至今已經(jīng)連續(xù)11年為阿里“雙十一”提供了核心的在線(xiàn)訪問(wèn)加速能力，承受住了最高每秒15億次的調(diào)用，是天貓“雙十一”的一大功臣。

今年年初，這個(gè)在阿里集團(tuán)內(nèi)部服務(wù)多年，歷經(jīng)天貓“雙十一”、優(yōu)酷春晚、菜鳥(niǎo)、高德等業(yè)務(wù)場(chǎng)景磨練的產(chǎn)品被阿里云正式對(duì)外推出。盡管在內(nèi)存數(shù)據(jù)庫(kù)市場(chǎng)Tair才入場(chǎng)，但經(jīng)過(guò)阿里連續(xù)11年“雙十一”歷練的Tair注定與眾不同，其云原生加持下的存儲(chǔ)一體、結(jié)合英特爾傲騰提供的持久化能力等等，使得Tair一出場(chǎng)就成為業(yè)界的焦點(diǎn)。

數(shù)據(jù)處理新趨勢(shì)：實(shí)時(shí)、海量、低成本

今天的我們已經(jīng)進(jìn)入一個(gè)大數(shù)據(jù)時(shí)代，數(shù)據(jù)規(guī)模一直在快速增長(zhǎng)。來(lái)自研究機(jī)構(gòu)的數(shù)據(jù)顯示，到2025年數(shù)據(jù)規(guī)模將是今年的4倍。與此同時(shí)，實(shí)時(shí)數(shù)據(jù)的處理占比會(huì)越來(lái)越高。據(jù)預(yù)測(cè)，到2022年50%以上的業(yè)務(wù)需要采用實(shí)時(shí)處理數(shù)據(jù)方法來(lái)支撐業(yè)務(wù)的在線(xiàn)化運(yùn)營(yíng)。另外，新增數(shù)據(jù)中非結(jié)構(gòu)性數(shù)據(jù)占比會(huì)大大提升，占比將會(huì)高達(dá)80%以上，同比增速超過(guò)50%。

應(yīng)對(duì)這些以非結(jié)構(gòu)化數(shù)據(jù)為主、實(shí)時(shí)在線(xiàn)的數(shù)據(jù)處理需求，傳統(tǒng)數(shù)據(jù)庫(kù)明顯力不從心，而內(nèi)存數(shù)據(jù)庫(kù)成為越來(lái)越多人的選擇。近幾年，隨著內(nèi)存價(jià)格持續(xù)走低，以Redis、Memcache為代表的內(nèi)存數(shù)據(jù)庫(kù)迅速普及。據(jù)Verified Market Research在2020年發(fā)布的市場(chǎng)研究報(bào)告顯示，全球內(nèi)存數(shù)據(jù)庫(kù)市場(chǎng)將以19.65%的復(fù)合年增長(zhǎng)率增長(zhǎng)。

不過(guò)，市場(chǎng)上現(xiàn)存的這些內(nèi)存數(shù)據(jù)并沒(méi)有充分滿(mǎn)足企業(yè)的需求，主要體現(xiàn)在以下方面：

首先是成本，在所有存儲(chǔ)介質(zhì)中內(nèi)存是最貴的，內(nèi)存的成本是用戶(hù)選擇內(nèi)存數(shù)據(jù)庫(kù)首要的考慮條件，昂貴的內(nèi)存成本也限制了內(nèi)存數(shù)據(jù)庫(kù)的普及。

其次是彈性。市場(chǎng)上現(xiàn)有的內(nèi)存數(shù)據(jù)庫(kù)產(chǎn)品普遍彈性不足，只能基于事先設(shè)好的參數(shù)值擴(kuò)容，而無(wú)法根據(jù)業(yè)務(wù)的波峰、波谷的變化實(shí)時(shí)調(diào)整內(nèi)存大小。

第三，計(jì)算能力不夠豐富。大多數(shù)內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)模型以KV或者關(guān)系型為主，在非結(jié)構(gòu)化數(shù)據(jù)占比將達(dá)到80%以上的今天，人們希望其能提供更加豐富的計(jì)算能力，如向量分析、向量處理、圖數(shù)據(jù)類(lèi)型臨近點(diǎn)分析等處理。

第四是企業(yè)級(jí)的能力。內(nèi)存數(shù)據(jù)庫(kù)除了能提供傳統(tǒng)緩存提供的數(shù)據(jù)訪問(wèn)加速能力之外，還希望能夠提供持久化、智能分層存儲(chǔ)以及熱點(diǎn)打散等功能，這些都是企業(yè)級(jí)應(yīng)用需要的關(guān)鍵能力。

值得高興的是，隨著技術(shù)的不斷進(jìn)步，特別是云計(jì)算以及新一代存儲(chǔ)技術(shù)的出現(xiàn)，內(nèi)存數(shù)據(jù)庫(kù)面臨的這些挑戰(zhàn)正在逐步得到解決，新一代的內(nèi)存數(shù)據(jù)庫(kù)也應(yīng)運(yùn)而生，阿里云推出的云原生內(nèi)存數(shù)據(jù)庫(kù)Tair正是這樣的一個(gè)產(chǎn)品。

“內(nèi)存數(shù)據(jù)庫(kù)正進(jìn)入了新的階段，云原生、持久化、融合計(jì)算是三大特征?！卑⒗锇桶图瘓F(tuán)副總裁、阿里云智能數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部總經(jīng)理、高級(jí)研究員李飛飛表示。

阿里巴巴集團(tuán)副總裁、阿里云智能數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部總經(jīng)理、高級(jí)研究員李飛飛

云原生加持的內(nèi)存數(shù)據(jù)庫(kù)Tair

阿里云推出的云原生內(nèi)存數(shù)據(jù)庫(kù)Tair是阿里自研的一個(gè)完全兼容Redis協(xié)議的KVS緩存系統(tǒng)。Tair誕生于2009年，最早應(yīng)用于淘寶核心業(yè)務(wù)系統(tǒng)，隨后逐漸進(jìn)入阿里其他核心業(yè)務(wù)系統(tǒng)，經(jīng)過(guò)多年持續(xù)不斷的打磨、完善和改進(jìn)，如今已經(jīng)演進(jìn)到Tair 3.0。Tair也被阿里云稱(chēng)為Redis企業(yè)版。部分原因在于其最早的設(shè)計(jì)思路來(lái)自Redis，很多功能設(shè)計(jì)也參考了Redis，但更為重要的原因是，它完全兼容Redis的數(shù)據(jù)結(jié)構(gòu)和接口API，原來(lái)采用Redis的應(yīng)用可以無(wú)縫遷移到Tair。

當(dāng)然，作為新一代內(nèi)存數(shù)據(jù)庫(kù)的代表，Tair已經(jīng)超過(guò)了Redis，實(shí)現(xiàn)了從緩存到一個(gè)真正內(nèi)存數(shù)據(jù)庫(kù)的角色轉(zhuǎn)變，越來(lái)越多核心應(yīng)用除了使用Tair的緩存模式之外，也使用Tair作為數(shù)據(jù)的持久化存儲(chǔ)方案。

在阿里云Tair實(shí)現(xiàn)從數(shù)據(jù)緩存到真正的內(nèi)存數(shù)據(jù)庫(kù)的角色轉(zhuǎn)變過(guò)程中，存儲(chǔ)技術(shù)的進(jìn)步發(fā)揮了重要作用，特別是英特爾傲騰技術(shù)。英特爾的傲騰是近幾年來(lái)存儲(chǔ)介質(zhì)的一次重大突破，傲騰數(shù)據(jù)中心級(jí)持久內(nèi)存（AEP）通過(guò)3DXpoint技術(shù)實(shí)現(xiàn)了存儲(chǔ)介質(zhì)在性能和成本上平衡，既提供了接近DRAM的訪問(wèn)速度，同時(shí)還具有非易失性存儲(chǔ)的能力。

基于傲騰數(shù)據(jù)中心級(jí)持久內(nèi)存，Tair通過(guò)軟硬結(jié)合實(shí)現(xiàn)了成本、性能和功能上的突破。目前，針對(duì)用戶(hù)對(duì)訪問(wèn)延時(shí)、持久化、整體成本這三個(gè)核心需求，基于DRAM、AEP和ESSD云盤(pán)存儲(chǔ)介質(zhì)，Tair推出了多種不同形態(tài)的產(chǎn)品，通過(guò)為用戶(hù)提供更強(qiáng)的性能、更多的數(shù)據(jù)結(jié)構(gòu)和更靈活的存儲(chǔ)方式，來(lái)滿(mǎn)足不同場(chǎng)景下的業(yè)務(wù)需求。

軟硬一體實(shí)現(xiàn)突破

“結(jié)合傲騰AEP的特性，通過(guò)軟硬件的融合，Tair在成本、彈性、計(jì)算和企業(yè)級(jí)能力上都實(shí)現(xiàn)了突破?！崩铒w飛在接受記者采訪時(shí)表示。

首先在成本上，得益于新技術(shù)的應(yīng)用使得TCO有明顯下降。比如，Tair的持久內(nèi)存型形態(tài)單實(shí)例成本對(duì)比Redis社區(qū)版最高可降低30%，而容量存儲(chǔ)型形態(tài)的單實(shí)例成本對(duì)比Redis社區(qū)版最高可降低85%。而且，數(shù)據(jù)持久化不依賴(lài)傳統(tǒng)磁盤(pán)，保證每個(gè)操作持久化的同時(shí)提供近乎Redis社區(qū)版的吞吐和延時(shí)，極大提升業(yè)務(wù)數(shù)據(jù)可靠性。

其次，在彈性上，Tair通過(guò)計(jì)算和存儲(chǔ)的解耦以及存儲(chǔ)的池化，實(shí)現(xiàn)了無(wú)損的縮擴(kuò)容，用戶(hù)可以根據(jù)業(yè)務(wù)訪問(wèn)的波峰波谷動(dòng)態(tài)、彈性地用一個(gè)池化的內(nèi)存池提供無(wú)縫彈性，這就避免了用戶(hù)為峰值“買(mǎi)單”，幫助用戶(hù)節(jié)約的成本。

“如果在沒(méi)有存儲(chǔ)和計(jì)算解耦，沒(méi)有存儲(chǔ)池化能力，內(nèi)存的容量一定要按照業(yè)務(wù)峰值進(jìn)行匹配，否則在峰值的時(shí)候就會(huì)出現(xiàn)內(nèi)存被擊穿，數(shù)據(jù)庫(kù)被涌來(lái)的請(qǐng)求沖垮。而在傳統(tǒng)架構(gòu)下，內(nèi)存數(shù)據(jù)庫(kù)必須按照峰值容量部署，因此使用成本一定高。”李飛飛解釋說(shuō)。

第三，計(jì)算模型上，Tair提供了非常豐富的功能，能支持圖計(jì)算、文本計(jì)算、圖片計(jì)算等。

最后，也是非常關(guān)鍵的企業(yè)級(jí)能力，這也是Tair的一大優(yōu)勢(shì)所在。Tair提供了全分布式的能力、數(shù)據(jù)閃回的能力、數(shù)據(jù)洞察的能力、熱點(diǎn)打散的能力，以及智能數(shù)據(jù)分層存儲(chǔ)能力等。

比如，Tair可以跨多個(gè)可用區(qū)（AZ）部署和容災(zāi)，不同AZ的數(shù)據(jù)可以自動(dòng)實(shí)時(shí)同步，并且多點(diǎn)進(jìn)行讀取，從而實(shí)現(xiàn)對(duì)就近內(nèi)存數(shù)據(jù)的訪問(wèn)。Tair的這種分布式能力對(duì)在線(xiàn)教育、娛樂(lè)、游戲、出海業(yè)務(wù)等業(yè)務(wù)非常關(guān)鍵，南瓜電影就使用了阿里云內(nèi)存數(shù)據(jù)庫(kù)Tair的企業(yè)級(jí)功能，實(shí)現(xiàn)了數(shù)據(jù)多地域同步，為3000萬(wàn)終端用戶(hù)帶去了更極致的體驗(yàn)。

另外，熱點(diǎn)打散也是Tair的一項(xiàng)非常關(guān)鍵的能力。在視頻直播可能會(huì)有突然爆發(fā)的情況，而這些很難預(yù)測(cè)也無(wú)法做足預(yù)案，如果熱點(diǎn)來(lái)了應(yīng)對(duì)不好很容易把緩存擊穿，通過(guò)Tair實(shí)時(shí)熱點(diǎn)打散能力就可以從容應(yīng)對(duì)這種突發(fā)的狀況。

云計(jì)算是最重要推手

回顧這些年數(shù)據(jù)庫(kù)進(jìn)步的演進(jìn)，李飛飛表示，一個(gè)明顯的趨勢(shì)是大數(shù)據(jù)與數(shù)據(jù)庫(kù)正在融合，其邊界變得越來(lái)越模糊，同時(shí)離線(xiàn)、在線(xiàn)邊界也變得越來(lái)越模糊，因?yàn)槿藗兿Ｍ麑?shù)據(jù)處理一體化，數(shù)據(jù)處理實(shí)時(shí)在線(xiàn)化。而這背后最大的推手就是云計(jì)算。

李飛飛解釋說(shuō)，云計(jì)算本質(zhì)是資源池化?！巴ㄟ^(guò)資源的池化、存儲(chǔ)與計(jì)算分離、計(jì)算資源隔離這些云計(jì)算的能力，同時(shí)結(jié)合如傲騰這樣的最新硬件技術(shù)，再和分布式數(shù)據(jù)庫(kù)技術(shù)融合起來(lái)，我們研發(fā)出了Tair這樣的新一代數(shù)據(jù)庫(kù)系統(tǒng)?！崩铒w飛說(shuō)。

的確，云原生數(shù)據(jù)庫(kù)已經(jīng)成為行業(yè)發(fā)展趨勢(shì)。Gartner在去年發(fā)布的名為《The Future of the Database Management System(DBMS)Market Is Cloud》的報(bào)告中就明確提出，傳統(tǒng)的自己部署數(shù)據(jù)庫(kù)的方式已經(jīng)過(guò)時(shí)。云是未來(lái)，所有組織，無(wú)論大小，都將越來(lái)越多地使用云數(shù)據(jù)庫(kù)。而阿里云云數(shù)據(jù)庫(kù)產(chǎn)品的推出也正是順應(yīng)了這一趨勢(shì)。

值得一提的是，阿里云在云計(jì)算方面的整體技術(shù)實(shí)力為阿里云數(shù)據(jù)庫(kù)產(chǎn)品性能提供了重要支持，確保其有著更好的性能表現(xiàn)。神龍架構(gòu)就是一個(gè)很好的例子。神龍架構(gòu)是阿里云為提升云平臺(tái)整體性能而研發(fā)的新一代計(jì)算平臺(tái)，目前已經(jīng)發(fā)布了第三代。在神龍架構(gòu)中，阿里云研發(fā)了專(zhuān)用的芯片、定制的專(zhuān)用主板，開(kāi)發(fā)了專(zhuān)用的MOC卡，甚至開(kāi)發(fā)了整套配套的軟件——從BIOS到應(yīng)用層支撐軟件，再到整體調(diào)度軟件等一整套復(fù)雜的系統(tǒng)。其最終結(jié)果是，實(shí)現(xiàn)了全面支持ECS虛擬機(jī)、裸金屬、云原生容器等，在IOPS、PPS等方面提升5倍性能，在云上能獲得物理機(jī)100%的計(jì)算能力。

“這種基礎(chǔ)架構(gòu)級(jí)的改進(jìn)可以為上層的軟件提供直接的性能提升，很少或者幾乎不用做任何改動(dòng)?！卑⒗镌浦悄芑A(chǔ)產(chǎn)品事業(yè)部技術(shù)戰(zhàn)略總監(jiān)陳旭在接受記者采訪時(shí)表示。

正是憑借阿里云自身在云計(jì)算方面的深厚技術(shù)，以及阿里集團(tuán)獨(dú)一無(wú)二的“雙十一”這個(gè)獨(dú)特的練兵場(chǎng)，使得阿里云在數(shù)據(jù)庫(kù)市場(chǎng)一年一個(gè)臺(tái)階，逐漸從一個(gè)市場(chǎng)的參與者變成了市場(chǎng)的領(lǐng)先者。

在今年11月份Gartner公布的2020年度全球數(shù)據(jù)庫(kù)魔力象限評(píng)估中，阿里云首次挺進(jìn)全球數(shù)據(jù)庫(kù)第一陣營(yíng)——領(lǐng)導(dǎo)者象限，這也是中國(guó)數(shù)據(jù)庫(kù)40年來(lái)首次進(jìn)入全球頂級(jí)數(shù)據(jù)庫(kù)行列，標(biāo)志著國(guó)產(chǎn)數(shù)據(jù)庫(kù)正式進(jìn)入一線(xiàn)行列。另外，根據(jù)IDC的數(shù)據(jù)，在公有云市場(chǎng)阿里云在云數(shù)據(jù)庫(kù)賽道上營(yíng)收已經(jīng)位居全球第三，而就整個(gè)數(shù)據(jù)庫(kù)市場(chǎng)而言，在中國(guó)市場(chǎng)份額阿里云位居榜首。

展望未來(lái)，李飛飛表示，Tair會(huì)持續(xù)在成本、彈性、計(jì)算、企業(yè)級(jí)方面發(fā)力，重點(diǎn)是云原生、軟硬件技術(shù)結(jié)合、數(shù)據(jù)存儲(chǔ)和計(jì)算一體化等核心能力。

“我們對(duì)云原生內(nèi)存數(shù)據(jù)庫(kù)接下來(lái)的布局是，通過(guò)池化的內(nèi)存存儲(chǔ)來(lái)提供多種計(jì)算模型和計(jì)算能力的支撐，實(shí)現(xiàn)存儲(chǔ)計(jì)算在內(nèi)存層面真正的一體化?！崩铒w飛說(shuō)。