TDSQL演進與突破：把企業(yè)級分布式數(shù)據(jù)庫做到極致

數(shù)據(jù)庫是舊市場，也是新市場，是一個既成熟又有新機遇的戰(zhàn)場。

舉些例子：

·第七次全國人口普查：750萬終端、十億級數(shù)據(jù)，實時入庫、實時統(tǒng)計、實時分析，這是對系統(tǒng)極致彈性、大并發(fā)計算以及連續(xù)穩(wěn)定的挑戰(zhàn)。

·健康碼：覆蓋全國10億人口以上，上線3個月即累計亮碼200億次，考驗的是系統(tǒng)對極速流量突增場景的應對。

·平安銀行信用卡新一代核心系統(tǒng)上線，是行業(yè)首例銀行核心系統(tǒng)數(shù)據(jù)庫從傳統(tǒng)集中式大型機下移至國產(chǎn)分布式架構的案例，打破數(shù)十年國外商業(yè)數(shù)據(jù)庫的壟斷。

這些場景，對傳統(tǒng)集中式數(shù)據(jù)庫提出了極大地挑戰(zhàn)。當傳統(tǒng)技術架構逐漸難以滿足產(chǎn)業(yè)互聯(lián)網(wǎng)時代的需求，轉型升級是必然的趨勢選擇。

云計算技術作為當前企業(yè)IT架構的不二之選，已走過探索實踐階段，迎來了多樣化、規(guī)模化的發(fā)展時期。同時，隨著國家對數(shù)據(jù)庫等基礎技術設施安全主可控要求越來越明確，國產(chǎn)化替換成為國家戰(zhàn)略。在技術升級和國產(chǎn)替代雙重驅動下，國產(chǎn)數(shù)據(jù)庫獲得了前所未有的歷史新機遇。

面對歷史新機遇，基礎技術創(chuàng)新要如何為產(chǎn)業(yè)帶來新的能力驅動，在2021騰訊數(shù)字生態(tài)大會上，騰訊云數(shù)據(jù)庫技術負責人潘安群，圍繞“將企業(yè)級分布式數(shù)據(jù)庫做到極致”的主題，分享了騰訊云數(shù)據(jù)庫TDSQL的一些工作和思考。

云時代數(shù)據(jù)庫技術趨勢

首先隨著云計算的發(fā)展，整個IT基礎技術發(fā)生了翻天覆地的變化：

1.IT設施從零散走向集中化、規(guī)?；?。過去，每一個企業(yè)自建各自的數(shù)據(jù)中心等IT基礎設施，包括服務器、網(wǎng)絡到操作系統(tǒng)、數(shù)據(jù)庫等，形成企業(yè)市場上零散化的IT設施模式。而今天基于云計算服務，企業(yè)IT設施呈現(xiàn)集中化、規(guī)?；瑢π?、性能、成本的要求提升。

2.交付方式從軟件交付走向服務交付。過去購買商業(yè)化軟件，或者是使用開源軟件產(chǎn)品，基本是通過商業(yè)化或開源的方式進行分發(fā)，而現(xiàn)在完全變成一個個服務的形式進行交付。這帶來的變化是，用戶不需要再盤算該購買幾臺服務器，而是在具有數(shù)據(jù)庫使用需求時，直接云上使用即可，企業(yè)IT人員不再需要自己去維護這些數(shù)據(jù)庫軟件。

3.開發(fā)方式從底層（IaaS+PaaS）走向上層（SaaS）。即呈現(xiàn)從過去業(yè)務進行非常底層的開發(fā)以及調用底層API等操作的模式，轉向SaaS化、Serverless模式的服務。在云上，開發(fā)者可以使用各種各樣的SaaS服務。無論從效率、基礎技術能力等方面來說，這都是一個巨大的變化。

4.數(shù)據(jù)形式及應用場景從單一化走向多樣化。過去傳統(tǒng)行業(yè)，比如金融行業(yè)，最核心是記賬、結算，業(yè)務形式比較簡單，但現(xiàn)在金融行業(yè)所面臨的是要做互聯(lián)網(wǎng)化、數(shù)字化的全面升級，包括各行各業(yè)都在做數(shù)字化升級，數(shù)據(jù)形式已經(jīng)不再是過去傳統(tǒng)數(shù)據(jù)庫那樣簡單的模式，而是數(shù)據(jù)形態(tài)、訪問模式等會越來越多樣化。

基于這樣的變化，我們認為未來的數(shù)據(jù)庫應該是：單引擎極致化，加多引擎自治融合的DBaaS服務。那么具體表現(xiàn)為：

單一引擎極致化。垂直場景在云上的規(guī)模化，使得我們必須將單引擎做到極致，才能進一步放大規(guī)模效應。

多引擎統(tǒng)一智能融合。而業(yè)務形態(tài)的多樣化，單一數(shù)據(jù)庫包打天下的時代已經(jīng)過去，多引擎化成為必然趨勢。當然我們不希望讓用戶陷入選擇，我們希望對客戶來說，多即是一。如何做到多即是一，如何做到在超大規(guī)模數(shù)據(jù)庫集群的一體化，智能化是決定這場變革成敗的關鍵因素。

DBaaS交付?；诙嘁嬷悄苋诤希龅椒占唇桓?，即交付給客戶的是一套完整數(shù)據(jù)庫服務，而不是一堆軟件。這是我們在企業(yè)級市場的理念。在以上理念下，今年TDSQL產(chǎn)品多個引擎持續(xù)實現(xiàn)了相應的突破。

產(chǎn)品演進的驅動力

“國產(chǎn)化+數(shù)據(jù)爆發(fā)+復雜度提升”是數(shù)據(jù)庫行業(yè)底層驅動力。隨著金融政企技術系統(tǒng)對國產(chǎn)化、數(shù)字化改造升級的需求加速，國產(chǎn)企業(yè)級分布式數(shù)據(jù)庫單引擎極致能力主要受到金融級核心系統(tǒng)應用能力、快速平穩(wěn)“去O”、新形互聯(lián)網(wǎng)業(yè)務轉型等需求和挑戰(zhàn)驅動，實現(xiàn)技術突破。

首先，總結而言，數(shù)字化時代金融、政務、互聯(lián)網(wǎng)、電商等企業(yè)對分布式數(shù)據(jù)庫的應用需求體現(xiàn)在以下4個方面：

1.支持穩(wěn)態(tài)業(yè)務的核心應用能力需求持續(xù)增強：表現(xiàn)為需要數(shù)據(jù)庫系統(tǒng)在高可用、強一致、穩(wěn)定可靠的基礎上，同時實現(xiàn)高性能、高可擴展，滿足業(yè)務穩(wěn)定、快速發(fā)展過程中對基礎技術要求。與此同時，核心應用關系企業(yè)系統(tǒng)最核心的交易，改造起來時間長、投入大，對國產(chǎn)數(shù)據(jù)庫的技術以及服務能力要求進一步提高。

2.平穩(wěn)快速“去O”：除了核心應用，金融政企系統(tǒng)中還有大量周邊系統(tǒng)或者次核心應用，這些核心應用往往有幾百上千套系統(tǒng)，由于歷史原因需要短期之內(nèi)快速“去O”，并基于國產(chǎn)分布式數(shù)據(jù)庫快速上線，如第一個月上線10個系統(tǒng)、第二個月上線20個系統(tǒng)……快速完成“去O”的場景需求，要求國產(chǎn)數(shù)據(jù)庫產(chǎn)品對Oracle兼容具備極高的兼容能力，并能做到高可用、強一致。

3.自動彈性擴縮容、應對敏態(tài)業(yè)務需求加大：業(yè)務在進行數(shù)字化轉型過程中，場景化、線上化是大勢所趨，這意味著技術系統(tǒng)中的數(shù)據(jù)吞吐量、業(yè)務形態(tài)、數(shù)據(jù)訪問和計算管控等也將隨之發(fā)生巨大變化，變得更加敏捷、多樣化，即面臨更多的不可預知性，對底層技術系統(tǒng)在靈活性與擴展性方面提出全新的要求。

4.海量數(shù)據(jù)復雜分析場景需求加大：在數(shù)字化業(yè)務的融合升級中，數(shù)據(jù)處理的規(guī)模大幅增長，對處理的實時性和效率有更高要求，因此亟需實現(xiàn)對海量數(shù)據(jù)的復雜分析、實時計算處理能力。

產(chǎn)品核心能力演進和突破

針對上述場景需求和挑戰(zhàn)，TDSQL從不同應用場景匹配不同引擎，為客戶提供融合統(tǒng)一的產(chǎn)品服務，以及從前端管理到底層統(tǒng)一的智能管控體系。

1.金融級核心交易OLTP引擎

金融級分布式OLTP引擎是TDSQL主打特性體現(xiàn)在強一致、高可用、分布式事務、兼容性等方面，可實現(xiàn)“兩地三中心、多地多中心”高可用靈活部署架構的產(chǎn)品引擎，它在跨數(shù)據(jù)中心強同步復制機制下可實現(xiàn)“RTO<30S、RPO=0”，同時在高性能基礎上保持全局一致性。本次引擎全新升級，將為用戶帶來全局索引、視圖、執(zhí)行計劃綁定、計算下推等能力升級，實現(xiàn)系統(tǒng)性能提升50%。

金融級OLTP引擎是當前大部分TDSQL銀行核心系統(tǒng)用戶所采用的引擎，具備產(chǎn)品成熟度高、分布式事務能力級別達到行業(yè)最高等特性。在互聯(lián)網(wǎng)銀行、區(qū)域性銀行以及股份制銀行、國有大行等領域都有成功案例。

2.TDSQL金融級HTAP引擎(Oracle兼容)

本次大會，我們也面向行業(yè)全新發(fā)布TDSQL金融級HTAP引擎（Oracle兼容版）。這款引擎在保險、運營商等行業(yè)兼容度高達98%以上，同時在數(shù)據(jù)的一致性、高可用方面也完全滿足金融行業(yè)的要求，可以幫助金融機構在極短時間內(nèi)，幾乎零成本改造的情況下，實現(xiàn)國產(chǎn)化。

3.TDSQL全自研新敏態(tài)引擎

這也是本次TDSQL帶來的全新重磅發(fā)布。TDSQL新敏態(tài)引擎100%兼容MySQL，計算/存儲資源均可獨立全透明彈性擴縮容，實現(xiàn)了PB級存儲的Online DDL；計算層每個節(jié)點均可讀寫，輕松支撐千萬級QPS流量，可以有效應對業(yè)務的變化。針對海量數(shù)據(jù)存儲的場景，實現(xiàn)最高最高20倍壓縮率的超高壓縮比存儲能力，大幅節(jié)省資源成本。

更關鍵的是，其獨有的數(shù)據(jù)形態(tài)自動感知特性，可以實現(xiàn)數(shù)據(jù)庫全域智能化自適應調度，能夠根據(jù)業(yè)務負載情況自動遷移，打散熱點，降低分布式事務比例，獲得極致的擴展性和性能。

與此同時，TDSQL新敏態(tài)引擎具有對分布式事務完整支持的特性，支撐了上層計算引擎多主讀寫架構的實現(xiàn)，并與計算引擎結合實現(xiàn)了計算下推、分布式事務一階段優(yōu)化等多緯度優(yōu)化，進一步實現(xiàn)分布式數(shù)據(jù)庫系統(tǒng)性能極致提升，有效適配企業(yè)新敏態(tài)業(yè)務需求。

在騰訊內(nèi)部業(yè)務實踐中，TDSQL新敏態(tài)引擎可支撐業(yè)務在保持高性能且連續(xù)服務的基礎上，一個月內(nèi)完成了高達1000次表結構在線變更。

4.TDSQL-A分析型引擎

今年5月份我們發(fā)布了分析引擎TDSQL-A，今天將迎來再次的全面升級。我們在架構上實現(xiàn)了計算與轉發(fā)雙平面的基礎上，全新自研了列式存儲引擎，搭配全新的智能執(zhí)行引擎，向量化執(zhí)行性能有10倍以上的提升，同時憑借業(yè)界獨有的分布式延遲物化技術，大幅優(yōu)化了分布式場景下關聯(lián)查詢的計算效率，可以幫助客戶進一步挖掘數(shù)據(jù)價值。

5.智能統(tǒng)一管控

騰訊云數(shù)據(jù)庫智能統(tǒng)一管控平臺，可讓數(shù)據(jù)在不同引擎之間自由流動，更好地支持業(yè)務快速發(fā)展。具體包括：

（1）以超過769個接口能力，支持系統(tǒng)實現(xiàn)不同應用場景靈活調用、一鍵運營；

（2）實現(xiàn)90%常見故障秒級診斷及SQL優(yōu)化建說議的智能運維體系，大幅降低系統(tǒng)運維復雜度；

（3）基于多源同步工具，實現(xiàn)多引擎數(shù)據(jù)秒級同步，對業(yè)務屏蔽引擎差異；

（4）實現(xiàn)插件式負載均衡管理，進一步提升可用性。目前支持F5、LVS、TGW、VPCGW等多種……

TDSQL應用場景突破

目前，TDSQL已服務近半國內(nèi)TOP20銀行，TOP10銀行中服務比例也高達60%。同時，TDSQL在不同金融機構核心系統(tǒng)中的滲透率明顯提升，如金融核心系統(tǒng)客戶超過20家，率先實現(xiàn)行業(yè)突破，包括平安銀行、張家港農(nóng)商行、昆山農(nóng)商行等銀行、保險、券商機構。

而在電信運營商等行業(yè)場景，騰訊云數(shù)據(jù)庫TDSQL也實現(xiàn)了率先突破，如在2021年中標某省移動核心系統(tǒng)從傳統(tǒng)集中式大型機系列下移至國產(chǎn)數(shù)據(jù)庫項目，是行業(yè)首家運營商核心系統(tǒng)數(shù)據(jù)庫分布式國產(chǎn)化改造項目。

無論是在銀行還是保險、政務等行業(yè)，TDSQL在關鍵領域的標桿頭部客戶已具有豐富的成功案例實踐。

基于大量大規(guī)模銀行核心系統(tǒng)應用實踐，TDSQL一路走來經(jīng)歷了最嚴苛的考驗。我們認為，國產(chǎn)數(shù)據(jù)庫即將進入規(guī)?；碾A段，我們希望未來五年能夠為1000家金融機構實現(xiàn)核心系統(tǒng)數(shù)據(jù)庫國產(chǎn)化改造升級，也希望廣大合作伙伴與我們一同實現(xiàn)這個國產(chǎn)數(shù)據(jù)庫的長期事業(yè)。