TDSQL演進(jìn)與突破：把企業(yè)級分布式數(shù)據(jù)庫做到極致

數(shù)據(jù)庫是舊市場，也是新市場，是一個既成熟又有新機(jī)遇的戰(zhàn)場。

舉些例子：

·第七次全國人口普查：750萬終端、十億級數(shù)據(jù)，實時入庫、實時統(tǒng)計、實時分析，這是對系統(tǒng)極致彈性、大并發(fā)計算以及連續(xù)穩(wěn)定的挑戰(zhàn)。

·健康碼：覆蓋全國10億人口以上，上線3個月即累計亮碼200億次，考驗的是系統(tǒng)對極速流量突增場景的應(yīng)對。

·平安銀行信用卡新一代核心系統(tǒng)上線，是行業(yè)首例銀行核心系統(tǒng)數(shù)據(jù)庫從傳統(tǒng)集中式大型機(jī)下移至國產(chǎn)分布式架構(gòu)的案例，打破數(shù)十年國外商業(yè)數(shù)據(jù)庫的壟斷。

這些場景，對傳統(tǒng)集中式數(shù)據(jù)庫提出了極大地挑戰(zhàn)。當(dāng)傳統(tǒng)技術(shù)架構(gòu)逐漸難以滿足產(chǎn)業(yè)互聯(lián)網(wǎng)時代的需求，轉(zhuǎn)型升級是必然的趨勢選擇。

云計算技術(shù)作為當(dāng)前企業(yè)IT架構(gòu)的不二之選，已走過探索實踐階段，迎來了多樣化、規(guī)模化的發(fā)展時期。同時，隨著國家對數(shù)據(jù)庫等基礎(chǔ)技術(shù)設(shè)施安全主可控要求越來越明確，國產(chǎn)化替換成為國家戰(zhàn)略。在技術(shù)升級和國產(chǎn)替代雙重驅(qū)動下，國產(chǎn)數(shù)據(jù)庫獲得了前所未有的歷史新機(jī)遇。

面對歷史新機(jī)遇，基礎(chǔ)技術(shù)創(chuàng)新要如何為產(chǎn)業(yè)帶來新的能力驅(qū)動，在2021騰訊數(shù)字生態(tài)大會上，騰訊云數(shù)據(jù)庫技術(shù)負(fù)責(zé)人潘安群，圍繞“將企業(yè)級分布式數(shù)據(jù)庫做到極致”的主題，分享了騰訊云數(shù)據(jù)庫TDSQL的一些工作和思考。

云時代數(shù)據(jù)庫技術(shù)趨勢

首先隨著云計算的發(fā)展，整個IT基礎(chǔ)技術(shù)發(fā)生了翻天覆地的變化：

1.IT設(shè)施從零散走向集中化、規(guī)?；?。過去，每一個企業(yè)自建各自的數(shù)據(jù)中心等IT基礎(chǔ)設(shè)施，包括服務(wù)器、網(wǎng)絡(luò)到操作系統(tǒng)、數(shù)據(jù)庫等，形成企業(yè)市場上零散化的IT設(shè)施模式。而今天基于云計算服務(wù)，企業(yè)IT設(shè)施呈現(xiàn)集中化、規(guī)模化效應(yīng)，對效率、性能、成本的要求提升。

2.交付方式從軟件交付走向服務(wù)交付。過去購買商業(yè)化軟件，或者是使用開源軟件產(chǎn)品，基本是通過商業(yè)化或開源的方式進(jìn)行分發(fā)，而現(xiàn)在完全變成一個個服務(wù)的形式進(jìn)行交付。這帶來的變化是，用戶不需要再盤算該購買幾臺服務(wù)器，而是在具有數(shù)據(jù)庫使用需求時，直接云上使用即可，企業(yè)IT人員不再需要自己去維護(hù)這些數(shù)據(jù)庫軟件。

3.開發(fā)方式從底層（IaaS+PaaS）走向上層（SaaS）。即呈現(xiàn)從過去業(yè)務(wù)進(jìn)行非常底層的開發(fā)以及調(diào)用底層API等操作的模式，轉(zhuǎn)向SaaS化、Serverless模式的服務(wù)。在云上，開發(fā)者可以使用各種各樣的SaaS服務(wù)。無論從效率、基礎(chǔ)技術(shù)能力等方面來說，這都是一個巨大的變化。

4.數(shù)據(jù)形式及應(yīng)用場景從單一化走向多樣化。過去傳統(tǒng)行業(yè)，比如金融行業(yè)，最核心是記賬、結(jié)算，業(yè)務(wù)形式比較簡單，但現(xiàn)在金融行業(yè)所面臨的是要做互聯(lián)網(wǎng)化、數(shù)字化的全面升級，包括各行各業(yè)都在做數(shù)字化升級，數(shù)據(jù)形式已經(jīng)不再是過去傳統(tǒng)數(shù)據(jù)庫那樣簡單的模式，而是數(shù)據(jù)形態(tài)、訪問模式等會越來越多樣化。

基于這樣的變化，我們認(rèn)為未來的數(shù)據(jù)庫應(yīng)該是：單引擎極致化，加多引擎自治融合的DBaaS服務(wù)。那么具體表現(xiàn)為：

單一引擎極致化。垂直場景在云上的規(guī)?；?，使得我們必須將單引擎做到極致，才能進(jìn)一步放大規(guī)模效應(yīng)。

多引擎統(tǒng)一智能融合。而業(yè)務(wù)形態(tài)的多樣化，單一數(shù)據(jù)庫包打天下的時代已經(jīng)過去，多引擎化成為必然趨勢。當(dāng)然我們不希望讓用戶陷入選擇，我們希望對客戶來說，多即是一。如何做到多即是一，如何做到在超大規(guī)模數(shù)據(jù)庫集群的一體化，智能化是決定這場變革成敗的關(guān)鍵因素。

DBaaS交付?；诙嘁嬷悄苋诤希龅椒?wù)即交付，即交付給客戶的是一套完整數(shù)據(jù)庫服務(wù)，而不是一堆軟件。這是我們在企業(yè)級市場的理念。在以上理念下，今年TDSQL產(chǎn)品多個引擎持續(xù)實現(xiàn)了相應(yīng)的突破。

產(chǎn)品演進(jìn)的驅(qū)動力

“國產(chǎn)化+數(shù)據(jù)爆發(fā)+復(fù)雜度提升”是數(shù)據(jù)庫行業(yè)底層驅(qū)動力。隨著金融政企技術(shù)系統(tǒng)對國產(chǎn)化、數(shù)字化改造升級的需求加速，國產(chǎn)企業(yè)級分布式數(shù)據(jù)庫單引擎極致能力主要受到金融級核心系統(tǒng)應(yīng)用能力、快速平穩(wěn)“去O”、新形互聯(lián)網(wǎng)業(yè)務(wù)轉(zhuǎn)型等需求和挑戰(zhàn)驅(qū)動，實現(xiàn)技術(shù)突破。

首先，總結(jié)而言，數(shù)字化時代金融、政務(wù)、互聯(lián)網(wǎng)、電商等企業(yè)對分布式數(shù)據(jù)庫的應(yīng)用需求體現(xiàn)在以下4個方面：

1.支持穩(wěn)態(tài)業(yè)務(wù)的核心應(yīng)用能力需求持續(xù)增強(qiáng)：表現(xiàn)為需要數(shù)據(jù)庫系統(tǒng)在高可用、強(qiáng)一致、穩(wěn)定可靠的基礎(chǔ)上，同時實現(xiàn)高性能、高可擴(kuò)展，滿足業(yè)務(wù)穩(wěn)定、快速發(fā)展過程中對基礎(chǔ)技術(shù)要求。與此同時，核心應(yīng)用關(guān)系企業(yè)系統(tǒng)最核心的交易，改造起來時間長、投入大，對國產(chǎn)數(shù)據(jù)庫的技術(shù)以及服務(wù)能力要求進(jìn)一步提高。

2.平穩(wěn)快速“去O”：除了核心應(yīng)用，金融政企系統(tǒng)中還有大量周邊系統(tǒng)或者次核心應(yīng)用，這些核心應(yīng)用往往有幾百上千套系統(tǒng)，由于歷史原因需要短期之內(nèi)快速“去O”，并基于國產(chǎn)分布式數(shù)據(jù)庫快速上線，如第一個月上線10個系統(tǒng)、第二個月上線20個系統(tǒng)……快速完成“去O”的場景需求，要求國產(chǎn)數(shù)據(jù)庫產(chǎn)品對Oracle兼容具備極高的兼容能力，并能做到高可用、強(qiáng)一致。

3.自動彈性擴(kuò)縮容、應(yīng)對敏態(tài)業(yè)務(wù)需求加大：業(yè)務(wù)在進(jìn)行數(shù)字化轉(zhuǎn)型過程中，場景化、線上化是大勢所趨，這意味著技術(shù)系統(tǒng)中的數(shù)據(jù)吞吐量、業(yè)務(wù)形態(tài)、數(shù)據(jù)訪問和計算管控等也將隨之發(fā)生巨大變化，變得更加敏捷、多樣化，即面臨更多的不可預(yù)知性，對底層技術(shù)系統(tǒng)在靈活性與擴(kuò)展性方面提出全新的要求。

4.海量數(shù)據(jù)復(fù)雜分析場景需求加大：在數(shù)字化業(yè)務(wù)的融合升級中，數(shù)據(jù)處理的規(guī)模大幅增長，對處理的實時性和效率有更高要求，因此亟需實現(xiàn)對海量數(shù)據(jù)的復(fù)雜分析、實時計算處理能力。

產(chǎn)品核心能力演進(jìn)和突破

針對上述場景需求和挑戰(zhàn)，TDSQL從不同應(yīng)用場景匹配不同引擎，為客戶提供融合統(tǒng)一的產(chǎn)品服務(wù)，以及從前端管理到底層統(tǒng)一的智能管控體系。

1.金融級核心交易OLTP引擎

金融級分布式OLTP引擎是TDSQL主打特性體現(xiàn)在強(qiáng)一致、高可用、分布式事務(wù)、兼容性等方面，可實現(xiàn)“兩地三中心、多地多中心”高可用靈活部署架構(gòu)的產(chǎn)品引擎，它在跨數(shù)據(jù)中心強(qiáng)同步復(fù)制機(jī)制下可實現(xiàn)“RTO<30S、RPO=0”，同時在高性能基礎(chǔ)上保持全局一致性。本次引擎全新升級，將為用戶帶來全局索引、視圖、執(zhí)行計劃綁定、計算下推等能力升級，實現(xiàn)系統(tǒng)性能提升50%。

金融級OLTP引擎是當(dāng)前大部分TDSQL銀行核心系統(tǒng)用戶所采用的引擎，具備產(chǎn)品成熟度高、分布式事務(wù)能力級別達(dá)到行業(yè)最高等特性。在互聯(lián)網(wǎng)銀行、區(qū)域性銀行以及股份制銀行、國有大行等領(lǐng)域都有成功案例。

2.TDSQL金融級HTAP引擎(Oracle兼容)

本次大會，我們也面向行業(yè)全新發(fā)布TDSQL金融級HTAP引擎（Oracle兼容版）。這款引擎在保險、運營商等行業(yè)兼容度高達(dá)98%以上，同時在數(shù)據(jù)的一致性、高可用方面也完全滿足金融行業(yè)的要求，可以幫助金融機(jī)構(gòu)在極短時間內(nèi)，幾乎零成本改造的情況下，實現(xiàn)國產(chǎn)化。

3.TDSQL全自研新敏態(tài)引擎

這也是本次TDSQL帶來的全新重磅發(fā)布。TDSQL新敏態(tài)引擎100%兼容MySQL，計算/存儲資源均可獨立全透明彈性擴(kuò)縮容，實現(xiàn)了PB級存儲的Online DDL；計算層每個節(jié)點均可讀寫，輕松支撐千萬級QPS流量，可以有效應(yīng)對業(yè)務(wù)的變化。針對海量數(shù)據(jù)存儲的場景，實現(xiàn)最高最高20倍壓縮率的超高壓縮比存儲能力，大幅節(jié)省資源成本。

更關(guān)鍵的是，其獨有的數(shù)據(jù)形態(tài)自動感知特性，可以實現(xiàn)數(shù)據(jù)庫全域智能化自適應(yīng)調(diào)度，能夠根據(jù)業(yè)務(wù)負(fù)載情況自動遷移，打散熱點，降低分布式事務(wù)比例，獲得極致的擴(kuò)展性和性能。

與此同時，TDSQL新敏態(tài)引擎具有對分布式事務(wù)完整支持的特性，支撐了上層計算引擎多主讀寫架構(gòu)的實現(xiàn)，并與計算引擎結(jié)合實現(xiàn)了計算下推、分布式事務(wù)一階段優(yōu)化等多緯度優(yōu)化，進(jìn)一步實現(xiàn)分布式數(shù)據(jù)庫系統(tǒng)性能極致提升，有效適配企業(yè)新敏態(tài)業(yè)務(wù)需求。

在騰訊內(nèi)部業(yè)務(wù)實踐中，TDSQL新敏態(tài)引擎可支撐業(yè)務(wù)在保持高性能且連續(xù)服務(wù)的基礎(chǔ)上，一個月內(nèi)完成了高達(dá)1000次表結(jié)構(gòu)在線變更。

4.TDSQL-A分析型引擎

今年5月份我們發(fā)布了分析引擎TDSQL-A，今天將迎來再次的全面升級。我們在架構(gòu)上實現(xiàn)了計算與轉(zhuǎn)發(fā)雙平面的基礎(chǔ)上，全新自研了列式存儲引擎，搭配全新的智能執(zhí)行引擎，向量化執(zhí)行性能有10倍以上的提升，同時憑借業(yè)界獨有的分布式延遲物化技術(shù)，大幅優(yōu)化了分布式場景下關(guān)聯(lián)查詢的計算效率，可以幫助客戶進(jìn)一步挖掘數(shù)據(jù)價值。

5.智能統(tǒng)一管控

騰訊云數(shù)據(jù)庫智能統(tǒng)一管控平臺，可讓數(shù)據(jù)在不同引擎之間自由流動，更好地支持業(yè)務(wù)快速發(fā)展。具體包括：

（1）以超過769個接口能力，支持系統(tǒng)實現(xiàn)不同應(yīng)用場景靈活調(diào)用、一鍵運營；

（2）實現(xiàn)90%常見故障秒級診斷及SQL優(yōu)化建說議的智能運維體系，大幅降低系統(tǒng)運維復(fù)雜度；

（3）基于多源同步工具，實現(xiàn)多引擎數(shù)據(jù)秒級同步，對業(yè)務(wù)屏蔽引擎差異；

（4）實現(xiàn)插件式負(fù)載均衡管理，進(jìn)一步提升可用性。目前支持F5、LVS、TGW、VPCGW等多種……

TDSQL應(yīng)用場景突破

目前，TDSQL已服務(wù)近半國內(nèi)TOP20銀行，TOP10銀行中服務(wù)比例也高達(dá)60%。同時，TDSQL在不同金融機(jī)構(gòu)核心系統(tǒng)中的滲透率明顯提升，如金融核心系統(tǒng)客戶超過20家，率先實現(xiàn)行業(yè)突破，包括平安銀行、張家港農(nóng)商行、昆山農(nóng)商行等銀行、保險、券商機(jī)構(gòu)。

而在電信運營商等行業(yè)場景，騰訊云數(shù)據(jù)庫TDSQL也實現(xiàn)了率先突破，如在2021年中標(biāo)某省移動核心系統(tǒng)從傳統(tǒng)集中式大型機(jī)系列下移至國產(chǎn)數(shù)據(jù)庫項目，是行業(yè)首家運營商核心系統(tǒng)數(shù)據(jù)庫分布式國產(chǎn)化改造項目。

無論是在銀行還是保險、政務(wù)等行業(yè)，TDSQL在關(guān)鍵領(lǐng)域的標(biāo)桿頭部客戶已具有豐富的成功案例實踐。

基于大量大規(guī)模銀行核心系統(tǒng)應(yīng)用實踐，TDSQL一路走來經(jīng)歷了最嚴(yán)苛的考驗。我們認(rèn)為，國產(chǎn)數(shù)據(jù)庫即將進(jìn)入規(guī)?；碾A段，我們希望未來五年能夠為1000家金融機(jī)構(gòu)實現(xiàn)核心系統(tǒng)數(shù)據(jù)庫國產(chǎn)化改造升級，也希望廣大合作伙伴與我們一同實現(xiàn)這個國產(chǎn)數(shù)據(jù)庫的長期事業(yè)。