1917年4月,在《新青年》發(fā)表的《體育之研究》一文,其中論及“體育之效”時指出:人的身體會天天變化。目不明可以明,耳不聰可以聰。生而強(qiáng)者如果濫用其強(qiáng),即使是至強(qiáng)者,最終也許會轉(zhuǎn)為至弱;而弱者如果勤自鍛煉,增益其所不能,久之也會變而為強(qiáng)。
因此,“生而強(qiáng)者不必自喜也,生而弱者不必自悲也。吾生而弱乎,或者天之誘我以至于強(qiáng),未可知也”。
回顧TDSQL發(fā)展的十七年,從一開始的簡單到如今的全面,從內(nèi)部支撐到推廣商用,TDSQL經(jīng)歷了一場由弱到強(qiáng)、從依賴到自主的自我歷練。
冰山之下:中國商用數(shù)據(jù)庫之痛
如果說“缺芯少魂”是國產(chǎn)操作系統(tǒng)之痛,那中國商用數(shù)據(jù)庫之痛就像藏在水面之下的冰山,隱蔽卻關(guān)乎要害。
上個世紀(jì)八九十年代,中國經(jīng)濟(jì)的快速發(fā)展迫切需要加強(qiáng)中國信息技術(shù)的建設(shè)。但在當(dāng)時人才技術(shù)急缺的窘境下,為了加快建設(shè),中國企業(yè)更多地是選擇引進(jìn)國外先進(jìn)的手段來彌補(bǔ)國產(chǎn)技術(shù)的空白。
在這個時期,IBM、Oracle、微軟等企業(yè)紛紛進(jìn)入中國市場,并在激烈競爭中奠定了中國數(shù)據(jù)庫行業(yè)的格局:金融行業(yè)中以IBM的DB2、Informix為主,電信行業(yè)則被Oracle牢牢把控。
在此后很長的一段時間里,中國企業(yè)必須花費(fèi)巨額費(fèi)用去采購這些國外品牌的設(shè)備及數(shù)據(jù)庫系統(tǒng)支持。花費(fèi)高還在其次,企業(yè)命脈掌握在別人手上才是更加緊迫的問題。由于當(dāng)時中國數(shù)據(jù)庫領(lǐng)域發(fā)展較為落后,國內(nèi)并無技術(shù)成熟的商用數(shù)據(jù)庫產(chǎn)品,中國企業(yè)被迫忍受了這種苦痛。
但隨著國內(nèi)互聯(lián)網(wǎng)的發(fā)展,國產(chǎn)商用數(shù)據(jù)庫的發(fā)展迎來了轉(zhuǎn)機(jī)。
篳路藍(lán)縷:TDSQL十七載研發(fā)路
在當(dāng)時,為了對抗“卡脖子”的窘境,國內(nèi)各大技術(shù)企業(yè)掀起了去IOE的浪潮。與此同時,國內(nèi)互聯(lián)網(wǎng)的快速發(fā)展,讓高并發(fā)、流量突增等線上業(yè)務(wù)場景變得非常頻繁,而傳統(tǒng)的IOE則無法適應(yīng)這種需求。因此勢必要用國產(chǎn)的分布式架構(gòu)的產(chǎn)品來替換IOE。在這種背景下,騰訊云數(shù)據(jù)庫TDSQL應(yīng)運(yùn)而生。
TDSQL的研發(fā)最早可以追溯到2004年。當(dāng)時出于業(yè)務(wù)發(fā)展需要,騰訊內(nèi)部從一開始就沒有Oracle。作為技術(shù)公司,騰訊選擇用技術(shù)解決問題?!盀槭裁次覀儾荒茏约涸煲粋€數(shù)據(jù)庫呢?”
最初,出于效率的迫切要求,騰訊數(shù)據(jù)庫團(tuán)隊針對業(yè)務(wù)對高可用、高一致、高性能存儲等功能的迫切需求,結(jié)合CAP原理在應(yīng)用層去解決問題。但后來發(fā)現(xiàn),在應(yīng)用層做工作,解決第一個系統(tǒng)問題時是快速的,但對于后續(xù)大規(guī)模應(yīng)用開發(fā)時,和業(yè)務(wù)應(yīng)用緊耦合的形式難以將這些數(shù)據(jù)一致性、高可用的解決方案推廣到其他業(yè)務(wù)系統(tǒng)來應(yīng)用。
對于這個問題他們沒有選擇視而不見,而是咬緊牙關(guān)決定從數(shù)據(jù)庫層面來開發(fā)構(gòu)造。團(tuán)隊幾個人就在一個小黑屋里面閉關(guān),開始了瘋狂的代碼構(gòu)建,主攻解決計費(fèi)等公司級敏感業(yè)務(wù)高可用、核心數(shù)據(jù)的零流失、核心交易的零錯賬等問題。就這樣,TDSQL的雛形誕生了。
技術(shù)的迭代往往源自于業(yè)務(wù)場景的驅(qū)動。隨著騰訊開放平臺的發(fā)展,TDSQL從支撐自身業(yè)務(wù)到迎來大量合作伙伴,面臨的行業(yè)場景也越來越豐富多樣。由于場景的廣泛,問題出現(xiàn)了,這款數(shù)據(jù)庫無法很快速方便地為合作伙伴提供服務(wù)。
2012年,TDSQL解決了這個問題,也推動國產(chǎn)數(shù)據(jù)庫再邁出了一個臺階。騰訊對底層數(shù)據(jù)庫進(jìn)行定制化架構(gòu)重構(gòu),打磨出了更加通用、標(biāo)準(zhǔn)化的數(shù)據(jù)庫產(chǎn)品,并正式命名為TDSQL,以解決金融等業(yè)務(wù)系統(tǒng)中高可用、數(shù)據(jù)一致性、水平伸縮等問題。從此TDSQL的發(fā)展步入了快車道。
在這個過程中,值得一提的是,2009年,騰訊進(jìn)入開放時代,誕生了開心農(nóng)場等代表性產(chǎn)品。當(dāng)時互聯(lián)網(wǎng)行業(yè)也逐步進(jìn)入全民社交的高速發(fā)展時代,每秒億級并發(fā)的場景比比皆是。支撐騰訊計費(fèi)支付業(yè)務(wù)的騰訊數(shù)據(jù)庫在7*24小時高可用、數(shù)據(jù)強(qiáng)一致的基礎(chǔ)上,對高性能吞吐、分布式水平擴(kuò)展、分布式KV存儲等進(jìn)行了研發(fā)布局,幫助擺脫業(yè)務(wù)系統(tǒng)流量對服務(wù)器數(shù)量的依賴,以及突破了性能瓶頸、數(shù)據(jù)可靠性保障、高可用等“不可能三角”的技術(shù)難題。
同時,隨著互聯(lián)網(wǎng)數(shù)字化的發(fā)展,當(dāng)時騰訊公司內(nèi)部部分業(yè)務(wù)對數(shù)據(jù)庫不僅僅要求純交易型(OLTP)的能力,還需要比如復(fù)雜的關(guān)聯(lián)查詢、或者按天匯總等偏分析的場景支持。但是這類業(yè)務(wù)又不至于需要采用類似Hadoop/MapReduce這種純分析性體系。因此,騰訊云相關(guān)數(shù)據(jù)庫團(tuán)隊,在2014年開始正式探索OLAP型數(shù)據(jù)庫研發(fā)與應(yīng)用,布局安全可控的分析型數(shù)據(jù)庫領(lǐng)域。這就是后來的分析型數(shù)據(jù)庫TBase——現(xiàn)在的TDSQL-A。
而早期從2010年開始,事實上,云計算開始興起。這里面需要面臨的問題就是很多大量的中小業(yè)務(wù)接入,單個業(yè)務(wù)或賬戶量并并大,但是業(yè)務(wù)數(shù)量非常多,騰訊內(nèi)部游戲可能動輒幾千萬的點(diǎn)券賬戶,但是業(yè)務(wù)可能也就幾百款,但是開放平臺上很多都是只有幾十萬的賬戶量,但是業(yè)務(wù)數(shù)量達(dá)到了幾十萬,所以我們還需要考慮這種情況下,如何確保單個業(yè)務(wù)的性能,也能確保業(yè)務(wù)之間互相不影響,同時還能確保成本比較低,其實這也是現(xiàn)在云計算時代的云原生技術(shù)、多租戶隔離能力。
隨著云計算、互聯(lián)網(wǎng)的不斷發(fā)展,數(shù)字化、大規(guī)模高并發(fā)業(yè)務(wù)場景愈加普遍,分布式數(shù)據(jù)庫需要成為云計算時代產(chǎn)業(yè)的常態(tài)化能力,要能夠做到靈活快速部署、敏捷開發(fā)、便捷運(yùn)維等。這些都是驅(qū)動TDSQL、計算與存儲分離的云原生數(shù)據(jù)庫CynosDB——現(xiàn)在的TDSQL-C等,不斷對自身數(shù)據(jù)庫技術(shù)進(jìn)行產(chǎn)品化打磨的源動力。云時代到來之際,騰訊云數(shù)據(jù)庫產(chǎn)品,得以更加領(lǐng)先的產(chǎn)品化生態(tài)服務(wù)優(yōu)勢,在數(shù)據(jù)庫國產(chǎn)化浪潮中立于潮頭。
國貨品牌:TDSQL助力國產(chǎn)數(shù)據(jù)庫蓬勃發(fā)展
作為騰訊耗時多年研發(fā)的數(shù)據(jù)庫產(chǎn)品,TDSQL在研發(fā)過程中多次實現(xiàn)技術(shù)上的新突破。
TDSQL原創(chuàng)性地提出的全面地解決讀一致性的算法,使得分布式事務(wù)的一致性和分布式系統(tǒng)的一致性統(tǒng)一在一起。在業(yè)界頗為頭疼的云數(shù)據(jù)庫運(yùn)維問題上,TDSQL也通過自主研發(fā)的“赤兔”運(yùn)營管理平臺和“扁鵲”智能DBA診斷系統(tǒng)予以解決。
TDSQL還與中國人民大學(xué)合作,創(chuàng)新性地提出并實現(xiàn)了(T-TDSQL)。該系統(tǒng)在保證OLTP性能的前提下,提供了輕量級的全時態(tài)數(shù)據(jù)管理功能和全時態(tài)數(shù)據(jù)的事務(wù)處理能力,以及集當(dāng)前態(tài)數(shù)據(jù)于生產(chǎn)系統(tǒng)、集歷史態(tài)數(shù)據(jù)于分析型系統(tǒng)的集群架構(gòu),構(gòu)成了全時態(tài)數(shù)據(jù)的完備解決方案。2019年該研發(fā)成果被國際數(shù)據(jù)庫學(xué)術(shù)頂會之一VLDB收錄。
除了為內(nèi)部業(yè)務(wù)提供支撐,TDSQL還為眾多政企客戶提供支持,助力國產(chǎn)數(shù)據(jù)庫蓬勃發(fā)展。
2019年9月12日,騰訊云官方公布了國產(chǎn)分布式數(shù)據(jù)庫TDSQL與張家港農(nóng)商行的合作案例。張家港農(nóng)商行新一代核心系統(tǒng)采用了騰訊云TDSQL來承載核心業(yè)務(wù)數(shù)據(jù),這是銀行傳統(tǒng)核心數(shù)據(jù)庫首次實現(xiàn)國產(chǎn)化。
除了張家港農(nóng)商行,TDSQL還服務(wù)和支持了大量銀行、保險行業(yè)客戶,實現(xiàn)了平安銀行信用卡A+新核心系統(tǒng)國產(chǎn)化、人保財險系統(tǒng)的數(shù)據(jù)庫國產(chǎn)化等突破。
就在今年的5月11日,在上海舉辦的中國品牌日電子信息行業(yè)品牌建設(shè)分論壇上,騰訊云企業(yè)級分布式數(shù)據(jù)庫正式入選“2021年中國品牌日電子信息行業(yè)國貨新品推廣目錄”。這是對TDSQL推動國產(chǎn)數(shù)據(jù)庫安全可控發(fā)展的肯定。
這個時代我們大有可為,我們正開拓著一條數(shù)據(jù)庫自主可控的道路。截至目前TDSQL已經(jīng)為超過3000+的政企和金融機(jī)構(gòu)提供數(shù)據(jù)庫的公有云及私有云服務(wù),客戶行業(yè)覆蓋銀行、保險、證券、互聯(lián)網(wǎng)金融、計費(fèi)、第三方支付、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)+、政務(wù)服務(wù)等領(lǐng)域。在未來,我們?nèi)员种伴L風(fēng)破浪會有時,直掛云帆濟(jì)滄?!钡臎Q心,打贏這場關(guān)鍵核心技術(shù)的攻堅戰(zhàn),共迎數(shù)字時代新機(jī)遇。