TDSQL inside之路

來源：騰訊云數(shù)據(jù)庫

作者：騰訊云數(shù)據(jù)庫

時間：2021-09-10

隨著越來越多機構(gòu)選擇TDSQL，一個個大單的落地，越來越多國民級應(yīng)用系統(tǒng)平穩(wěn)運行在TDSQL之上，TDSQL給行業(yè)帶來了對國產(chǎn)數(shù)據(jù)庫的強勁信心。

“力爭讓每一張錢都能打上TDSQLinside的標簽”，距離潘安群在自己的朋友圈立下的這個flag，已經(jīng)6年。

8月26日，在看到相關(guān)新聞之后，激動之余的老潘在朋友圈這樣寫道：

“2016年第一次去人行立下的flag，今年要實現(xiàn)了”，并且附上了6年前的朋友圈截圖，下面是眾多同事和領(lǐng)導(dǎo)的感嘆和祝福。

我們素人無法理解一個技術(shù)老兵對于TDSQL的溺愛，就像我們無法理解年輕人對于愛情有多么渴望。

這一天，距離老潘等第一次去現(xiàn)場技術(shù)交流，已經(jīng)過去整整2190天。

硬著頭皮也要往前沖

“我們要做就要做一款無愧于這個時代的產(chǎn)品”，這個不是一句空話，談到為什么要做TDSQL，老潘的眼里甚至在發(fā)光，從這款14年前誕生在騰訊內(nèi)部的數(shù)據(jù)庫產(chǎn)品，到如今在全球軟件舞臺大放異彩的軟件產(chǎn)品，常人根本無法想象，背后付出多少艱辛。

“他不像一座摩天大樓，普通人可以看到他與日俱增然后拔地而起。一款軟件從寫出第一行代碼，到被億萬用戶喜歡，甚至根植于普通人的每一天，肉眼根本看不到?！?/p>

但這并不妨礙他的偉大。

“我們每天都在不斷的寫代碼，改bug，做測試，搞迭代，新版本上線，已經(jīng)不記得有多少個日日月月了，雖然真的挺辛苦，但心里對TDSQL是真愛，我們就是要有這股不服輸?shù)膭拧！?/p>

數(shù)據(jù)庫到底有多難搞？

當我在知乎上敲出這個疑問的瞬間，一個標題為”中國跨過數(shù)據(jù)庫這座大山了嗎？“的高贊帖子吸引了我的關(guān)注。

從1978年，薩師煊老師在黑板上寫下“數(shù)據(jù)庫”三個字，數(shù)據(jù)庫理論正式進入中國，到如今，國產(chǎn)數(shù)據(jù)庫整整走了43年，但是反觀國內(nèi)，依然是老牌國外廠商的天下。

一個網(wǎng)友的問答直戳人心：

數(shù)據(jù)庫中儲存著大量的關(guān)鍵數(shù)據(jù)，而數(shù)據(jù)就意味著信息，信息就意味著情報，情報就意味著價值。在數(shù)據(jù)分析和處理技術(shù)越來越成熟之后，大量的數(shù)據(jù)背后能推測出來的信息量超乎想象。

一條簡單數(shù)據(jù)的增刪改查，背后是一套嚴密的計算機執(zhí)行邏輯，涉及無數(shù)個計算機程序。

而這只是1條數(shù)據(jù)，那么100條，10000條，甚至一億條呢，如今，我們隨隨便便一個簡單的客戶系統(tǒng)，動輒就是百億級的數(shù)據(jù)量，那么背后的數(shù)據(jù)庫復(fù)雜難度可想而知。

從這個角度看，數(shù)據(jù)庫被稱為國內(nèi)軟件領(lǐng)域的一座大山的原因不言自明。

正因如此，數(shù)據(jù)庫被國人列為繼操作系統(tǒng)、中間件之后的第三大基礎(chǔ)軟件。

但就是這樣一款關(guān)系國計民生的一款軟件，長期被國外廠商占據(jù)領(lǐng)導(dǎo)地位，要想從傳統(tǒng)的老牌數(shù)據(jù)庫廠商分一杯羹，堪稱虎口拔牙。

但是，拋棄純粹的商業(yè)吹捧之外，國內(nèi)數(shù)據(jù)庫這幾年的進步也有目共睹，尤其是在云數(shù)據(jù)庫這塊，以TDSQL為代表的國產(chǎn)數(shù)據(jù)庫一路高歌猛進。

TDSQL自誕生起，身上就有一種“臨危受命”的使命感。

“在2007年之前，騰訊還在完全使用以MySQL數(shù)據(jù)庫為主的開源數(shù)據(jù)庫，一些海量的數(shù)據(jù)分析和財務(wù)部分也還跑在Oracle數(shù)據(jù)庫上?！彬v訊云數(shù)據(jù)庫專家工程師雷海林回憶。

然而，騰訊壯大的速度遠遠超過了開源數(shù)據(jù)庫的承受能力。

“增長太快了，當時每天早上我們看報表，發(fā)現(xiàn)報表時間到了，數(shù)據(jù)卻沒有跑出來，那就是已經(jīng)挑戰(zhàn)了集中式數(shù)據(jù)庫的系統(tǒng)極限。”騰訊云副總裁，騰訊計費平臺部總經(jīng)理李綱說。

640.webp.jpg

中間為騰訊云副總裁，騰訊計費平臺部總經(jīng)理李綱

“2006年，QQ用戶量增長速度創(chuàng)造了歷史記錄，QQ同時在線人數(shù)逼近2000萬，開源的數(shù)據(jù)庫沒見過這么大的陣仗，市面上的開源數(shù)據(jù)庫和傳統(tǒng)商業(yè)數(shù)據(jù)庫沒有一家能夠支撐騰訊龐大的流量需求?！?/p>

怎么辦，只能自己搞。

就這樣，李綱拉了潘安群、雷海林等幾個人立即開干。

但是要做就要做一款用的爽，高可用的數(shù)據(jù)庫，7*24小時高可用、數(shù)據(jù)一筆不差、金額一分不差成為這個團隊對自己的要求。

理想很豐滿，現(xiàn)實很骨感。

騰訊內(nèi)部的業(yè)務(wù)還好說，雖然體量大，但是好在模式單一，數(shù)量不是那么多，有限的人力還能應(yīng)付過來，但是隨著2010年，騰訊推出“開放戰(zhàn)略”，一大波小廠商蜂擁而至，而且每個客戶的訴求各式各樣，業(yè)務(wù)場景的不同，需要TDSQL具備服務(wù)多元化客戶的能力。

同時，因為涉及到計費，和錢有關(guān)的業(yè)務(wù)，對TDSQL的每一筆操作都要做到零差錯，也是需要應(yīng)對的挑戰(zhàn)。

但是開弓沒有回頭箭，硬著頭皮也要往前沖。

640.webp (1).jpg

早期核心團隊，前排右三就是潘安群

羽翼漸豐

如果非要梳理出TDSQL從內(nèi)部自研庫蛻變成規(guī)模化商業(yè)產(chǎn)品的發(fā)展歷程，那么以下四個階段不能不提：

2007-2009年，這個階段，開源的mysql在面對騰訊爆發(fā)式增長的業(yè)務(wù)，已經(jīng)越來越捉襟見肘，開始研制服務(wù)于計費、定位于金融場景的分布式數(shù)據(jù)庫TDSQL逐漸提上日程。

2009年-2012年，騰訊進入開放時代，海量業(yè)務(wù)群雄并起，以開心農(nóng)場等為代表的眾多億級應(yīng)用比比皆是，TDSQL在性能上逐漸突破了性能瓶頸、數(shù)據(jù)可靠性保障、高可用等“不可能三角”的技術(shù)難題。

2012-2014年，云計算興起，數(shù)據(jù)庫上云、多租戶、標準化成為標配。騰訊云數(shù)據(jù)庫的能力逐漸外溢，TDSQL由于優(yōu)異的性能已經(jīng)擁有眾多外部客戶，TDSQL在經(jīng)過公有云海量數(shù)字化、大規(guī)模高并發(fā)業(yè)務(wù)場景的打磨，內(nèi)核級的深度自研優(yōu)化之后，逐漸形成標準化的國產(chǎn)分布式數(shù)據(jù)庫產(chǎn)品，包括金融級分布式的TDSQL、計算與存儲分離的云原生數(shù)據(jù)庫TDSQL-C等產(chǎn)品，獲得了云原生技術(shù)、多租戶隔離能力。

2014-2020年，數(shù)字化升級成為行業(yè)大勢，TDSQL走向大規(guī)模應(yīng)用階段，包括微眾銀行，TDSQL作為其分布式數(shù)據(jù)庫底座承擔了核心作用；幫助張家港農(nóng)商銀行上線新一代核心業(yè)務(wù)系統(tǒng)；幫助平安銀行打造信用卡“A+”新核心系統(tǒng)。

伴隨著能力的不斷完善，騰訊云數(shù)據(jù)庫整體能力也正在以前所未有的速度發(fā)展。

2019年，Gartner的報告稱，騰訊云數(shù)據(jù)庫市場份額增速達123%，位居國內(nèi)所有廠商之首，并在全球范圍內(nèi)保持連續(xù)兩年增速前三。

2020年上半年，Gartner的報告又顯示，騰訊云數(shù)據(jù)庫的全球市場份額排名已經(jīng)提升至前六。

“對于入榜Gartner，標志著騰訊云數(shù)據(jù)庫正式進入世界頂級數(shù)據(jù)庫的行列，同時也是國產(chǎn)數(shù)據(jù)庫發(fā)展史上的一個重要里程碑。”李綱強調(diào)。

TDSQL inside之路

回到2014年，這一年對于TDSQL有著特殊的意義。

這一年，不僅成功支持央視春晚，還成功接下了為微眾銀行提供數(shù)據(jù)庫支持的項目，打出了TDSQL沖擊金融領(lǐng)域的第一槍。

作為國內(nèi)首家互聯(lián)網(wǎng)銀行，微眾期待把普惠金融的IT架構(gòu)做好，希望既能夠服務(wù)海量用戶，又可以把每個用戶的成本控制到很低的范圍內(nèi)的要求。

640.webp (2).jpg

但是第一次面對客戶，在騰訊內(nèi)部舒適區(qū)待久了的TDSQL顯然對突如其來的客戶挑戰(zhàn)沒有準備。

“給客戶做數(shù)據(jù)庫的時候，很多也是未知的領(lǐng)域，做的不好的話，不是在自己家改一改就好了，人家真的會罵你。”潘安群說。

就像初次見面的年輕男女，“你知道我的不懷好意，我知道你的故作矜持”，彼此還是有一定的隔閡，雙方也經(jīng)歷過“微眾覺得TDSQL不懂銀行，TDSQL覺得微眾不懂互聯(lián)網(wǎng)“這個階段。

但磨合之后，就知道彼此的好。

現(xiàn)如今，微眾銀行基于TDSQL搭建的分布式銀行核心系統(tǒng)可以做到7*24小時全天候不間斷服務(wù)。已成功服務(wù)超過2.5億客戶，實現(xiàn)年均日交易3.6億筆，單日交易峰值近6億筆，最高TPS（每秒傳輸?shù)氖挛锾幚韨€數(shù)）達到10萬+，也為微粒貸、微業(yè)貸等業(yè)務(wù)的數(shù)百個核心系統(tǒng)提供了堅實支撐。

說到TDSQL在金融行業(yè)的發(fā)展之路，不能不提張家港農(nóng)商銀行。

這個項目最大的意義是，這是在國內(nèi)銀行首次在傳統(tǒng)核心業(yè)務(wù)系統(tǒng)場景下，采用國產(chǎn)分布式數(shù)據(jù)庫，打破了該領(lǐng)域?qū)鈹?shù)據(jù)庫的長期依賴，率先響應(yīng)了國家對金融核心領(lǐng)域技術(shù)自主可控的要求。

而這個過程也充滿艱辛，在面對客戶對分布式數(shù)據(jù)庫相對于集中式數(shù)據(jù)庫有什么優(yōu)勢，TDSQL到底靠不靠譜的疑問時，TDSQL數(shù)據(jù)庫專家張文就跑到張家港待了足足一個多月，讓張家港行掌握了分布式數(shù)據(jù)庫的正確使用方法，并最終贏得了行方的信任。

直至2019年8月，項目行將結(jié)束之時，張文在朋友圈里記錄了這樣一段文字：

“記得年初第一次來張家港銀行，那時開發(fā)人員對分布式數(shù)據(jù)庫根本無從下手，核心系統(tǒng)改造當時看來還是天方夜譚。再看今天，全行核心業(yè)務(wù)跑在分布式架構(gòu)下穩(wěn)如磐石，性能輕松碾壓行業(yè)同類產(chǎn)品，軟硬件綜合成本降低75%?！?/p>

640.webp (3).jpg