國產(chǎn)數(shù)據(jù)庫的火熱從來不是一夜時間的事情,雖然看起來像是一夜梨花開,但更重要是一直以來源頭創(chuàng)新工作的厚積薄發(fā)。
6月20日-25日,2021 ACM SIGMOD即將在西安舉行。在今年的SIGMOD會議現(xiàn)場,來自騰訊云數(shù)據(jù)庫TDSQL的大咖們將受邀分享自己的洞見和理論創(chuàng)新成果,展示騰訊云數(shù)據(jù)庫TDSQL在數(shù)據(jù)庫基礎創(chuàng)新領域的最新探索和研究成果。
今年,TDSQL相關論文被入選SIGMOD,領域涉及分布式數(shù)據(jù)庫事務處理、存儲等關鍵技術領域,致力于從基礎理論層面推動數(shù)據(jù)庫技術創(chuàng)新突破。其中,騰訊云原生數(shù)據(jù)庫TDSQL-C研究類論文“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory"中,TDSQL-C首次提出了多級緩沖管理器Spitfire的概念,通過一種新穎、低代價且有效的熱數(shù)據(jù)識別方法,將熱數(shù)據(jù)頁面保持在DRAM緩存中,同時將暖數(shù)據(jù)保存在非易失存儲NVM中,有效提升了系統(tǒng)整體性能與性價比。
而騰訊云數(shù)據(jù)庫與中國人民大學合作的成果"Efficiently Supporting Adaptive Multi-Level Serializability Models in Distributed Database Systems",基于多種級別強一致性的創(chuàng)新,實現(xiàn)了分布式數(shù)據(jù)庫領域高性能的強一致性工程系統(tǒng),即在實現(xiàn)分布式數(shù)據(jù)庫“雙一致性(事務一致性、分布式一致性)”的同時,極大地提高了分布式事務型集群的處理效率。事務處理領域的創(chuàng)新突破,這是國產(chǎn)數(shù)據(jù)庫團隊再一次攻堅突破全球分布式系統(tǒng)、數(shù)據(jù)庫領域核心難題的最佳實踐。
SIGMOD是目前數(shù)據(jù)庫領域最具學術影響力地位的國際性學術會議之一,與ICDE、VLDB并稱為國際數(shù)據(jù)庫三大頂級會議。
事實上,此前TDSQL就曾多次亮相SIGMOD、ICED、VLDB,以及IEEE TKDE等CCF推薦的A類國際頂會和期刊。
比如騰訊云數(shù)據(jù)庫就曾與華中科技大學合作,在SIGMOD 2019上發(fā)布論文《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》,實現(xiàn)了基于AI技術的數(shù)據(jù)庫性能自調(diào)優(yōu)結果首次全面超越數(shù)據(jù)庫專家。
2019年,騰訊云數(shù)據(jù)庫團隊與中國人民大學合作,創(chuàng)新性地提出并實現(xiàn)了全時態(tài)數(shù)據(jù)庫系統(tǒng)T-TDSQL。該系統(tǒng)在保證OLTP性能的前提下,提供了輕量級的全時態(tài)數(shù)據(jù)管理功能和全時態(tài)數(shù)據(jù)的事務處理能力,以及集當前態(tài)數(shù)據(jù)于生產(chǎn)系統(tǒng)、集歷史態(tài)數(shù)據(jù)于分析型系統(tǒng)的集群架構,構成了全時態(tài)數(shù)據(jù)的完備解決方案,實現(xiàn)了混合OLTP和OLAP的架構,為HTAP系統(tǒng)實現(xiàn)提供了解決方案基礎。該研發(fā)成果論文被VLDB 2019收錄。
不久前,騰訊云數(shù)據(jù)庫與中國人民大學合作的創(chuàng)新成果被IEEE TKDE收錄。論文提出了一種增量-全量混合的歷史數(shù)據(jù)存儲策略,使用鍵值對結構對歷史數(shù)據(jù)進行存儲,從而優(yōu)化了歷史數(shù)據(jù)的存儲開銷,同時,對歷史數(shù)據(jù)的讀取進行了優(yōu)化,利用MVCC機制的數(shù)據(jù)讀取策略,保證了OLAP類事務的執(zhí)行效率得以提升,解決當前HTAP分布式數(shù)據(jù)庫系統(tǒng)中由于OLAP要處理的數(shù)據(jù)太多而使得整體事務性能受到影響的問題。
此外,騰訊云原生數(shù)據(jù)庫TDSQL-C與中國科學技術大學合作的最新研究成果《TLBtree:A Read/Write-Optimized Tree Index for Non-Volatile Memory》,也入選了數(shù)據(jù)庫頂級會議ICDE 2021。該研究在非易失內(nèi)存上創(chuàng)新提出了一種讀寫兼優(yōu)的數(shù)據(jù)結構,作為數(shù)據(jù)庫內(nèi)核存儲引擎中的索引結構,其讀寫性能大幅超越前沿的同等索引結構。
騰訊歷來重視數(shù)據(jù)庫領域的研發(fā),近年來更是不斷加大對基礎架構領域前沿技術研究的支持,通過與頂級高校和研究機構“產(chǎn)學研”一體的合作方式,將技術研究成果轉換為應用落地,持續(xù)輸出前沿技術創(chuàng)新與示范性應用。
技術、應用、產(chǎn)學研合作培養(yǎng)分享,通通安排!
數(shù)據(jù)庫作為三大基礎軟件技術之一,安全可控的發(fā)展不僅要依靠前沿基礎技術創(chuàng)新,同時包括在人才、應用等生態(tài)領域的融合發(fā)展。因此,一直以來騰訊云數(shù)據(jù)庫TDSQL致力于進一步推動AI、新硬件、云計算等技術和數(shù)據(jù)庫技術的深度融合創(chuàng)新,并加大對數(shù)據(jù)庫基礎研究創(chuàng)新、數(shù)據(jù)庫產(chǎn)學研合作生態(tài)的建設投入,充分釋放領先技術的紅利,助力國產(chǎn)數(shù)據(jù)庫學術人才和技術創(chuàng)新生態(tài)建設發(fā)展。
在本次SIGMOD 2021大會上,騰訊云數(shù)據(jù)庫TDSQL的大咖們將會帶來包括數(shù)據(jù)庫基礎研究與產(chǎn)學研合作創(chuàng)新探索、理論技術創(chuàng)新與工程實踐等多個領域維度的重磅分享,從技術、應用實踐到產(chǎn)學研融合等多個層面,通通都給安排上!