21世紀(jì),是數(shù)字經(jīng)濟(jì)的時(shí)代。數(shù)據(jù)已成為企業(yè)和社會(huì)最寶貴的資產(chǎn)。在這片前景廣闊的領(lǐng)域里,數(shù)據(jù)發(fā)展的歷史長(zhǎng)河埋藏了怎樣的機(jī)遇?在未來(lái),數(shù)據(jù)技術(shù)將往哪些方向演進(jìn)?數(shù)據(jù)開(kāi)發(fā)者又該如何在新時(shí)代中,找到自己的職業(yè)發(fā)展的最佳錨點(diǎn)?
2021年4月24日,首屆Techo TVP開(kāi)發(fā)者峰會(huì)「數(shù)據(jù)的冰與火之歌——從在線數(shù)據(jù)庫(kù)技術(shù),到海量數(shù)據(jù)分析技術(shù)」成功舉辦。峰會(huì)包括數(shù)據(jù)庫(kù)、大數(shù)據(jù)兩大專題,帶來(lái)了全天候、全方位、沉浸式的技術(shù)分享與交流,為超過(guò)500位現(xiàn)場(chǎng)參會(huì)的開(kāi)發(fā)者獻(xiàn)上了一場(chǎng)“最有料、有趣、且有用”的開(kāi)發(fā)者大會(huì)。
上午,圍繞數(shù)據(jù)庫(kù)專題,騰訊云數(shù)據(jù)庫(kù)總經(jīng)理林曉斌帶來(lái)了開(kāi)場(chǎng)致辭,云和恩墨CEO、騰訊云TVP蓋國(guó)強(qiáng)、騰訊云數(shù)據(jù)庫(kù)專家工程師李海翔、微眾銀行數(shù)據(jù)庫(kù)平臺(tái)室室經(jīng)理、騰訊云TVP胡盼盼、騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān)張青林進(jìn)行了技術(shù)分享。
接下來(lái)就一起來(lái)回顧一下大咖們的演講精華吧~
“分布式數(shù)據(jù)庫(kù)已經(jīng)成為行業(yè)必需品,在近幾年也發(fā)展出一些新方向?!痹诜鍟?huì)伊始,騰訊云數(shù)據(jù)庫(kù)總經(jīng)理林曉斌對(duì)參會(huì)的廣大開(kāi)發(fā)者表達(dá)了誠(chéng)摯的歡迎,同時(shí)分享了他對(duì)于數(shù)據(jù)庫(kù)領(lǐng)域新動(dòng)向的洞察:“在云原生大潮下,云原生數(shù)據(jù)庫(kù)為開(kāi)發(fā)者們帶來(lái)了極大便利。此外,數(shù)據(jù)庫(kù)的融合型能力HTAP也是一大趨勢(shì)和挑戰(zhàn)?!睂?duì)此,他表示騰訊云TDSQL在全國(guó)第七次人口普查的大考中交出了令人滿意的答卷,本次峰會(huì)的分享將會(huì)為開(kāi)發(fā)者們勾勒數(shù)據(jù)技術(shù)發(fā)展的全景畫(huà)卷。
騰訊云數(shù)據(jù)庫(kù)總經(jīng)理林曉斌
萬(wàn)象更新-數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和未來(lái)
云和恩墨CEO、騰訊云TVP蓋國(guó)強(qiáng)是國(guó)內(nèi)第一個(gè)Oracle ACE及ACE總監(jiān),曾出版多本數(shù)據(jù)庫(kù)技術(shù)專著,在《萬(wàn)象更新-數(shù)據(jù)庫(kù)技術(shù)的發(fā)展與未來(lái)》主題分享中,他分別從工業(yè)界與學(xué)術(shù)界的視角梳理了數(shù)據(jù)庫(kù)技術(shù)發(fā)展的歷史脈絡(luò),提出目前我們正走向“商業(yè)和開(kāi)源、SQL和NewSQL交融”的新數(shù)據(jù)庫(kù)時(shí)代,在新時(shí)代,云成為了數(shù)據(jù)庫(kù)最重要的一個(gè)陣地,下一步的格局將是云的體驗(yàn)云下化,最終云上和云下趨于一致。
云和恩墨CEO、騰訊云TVP蓋國(guó)強(qiáng)
而面向未來(lái),企業(yè)需要怎樣的數(shù)據(jù)庫(kù)?蓋國(guó)強(qiáng)指出,數(shù)據(jù)庫(kù)的更迭,不是重走一次長(zhǎng)征路,不是功能和體驗(yàn)的降級(jí),而應(yīng)該是循環(huán)上升的數(shù)據(jù)庫(kù)變更升級(jí)歷程,應(yīng)該是更好的開(kāi)發(fā)運(yùn)維體驗(yàn)、故障自愈、自動(dòng)化和智能化,同時(shí)兼顧投資保護(hù)、人才培育。
在分享的最后,蓋國(guó)強(qiáng)對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)浪潮之下,正處于迷茫狀態(tài)當(dāng)中的數(shù)據(jù)開(kāi)發(fā)者們提出了清晰的方向指引及真誠(chéng)的建議:從DBA到數(shù)據(jù)庫(kù)設(shè)計(jì)、內(nèi)核研發(fā),對(duì)開(kāi)發(fā)者來(lái)說(shuō),職業(yè)道路是寬廣而明亮的。面對(duì)國(guó)產(chǎn)化的行業(yè)變革,數(shù)據(jù)庫(kù)從業(yè)人員只有躬身入局,盡早轉(zhuǎn)型,做到“一主一備雙引擎,商用開(kāi)源兩相宜”,才能夠抓住機(jī)遇,領(lǐng)先一步。
分布式數(shù)據(jù)庫(kù)的演進(jìn)
騰訊近十年的分布式數(shù)據(jù)庫(kù)技術(shù)發(fā)展與騰訊TDSQL研發(fā)團(tuán)隊(duì)所做的理論、創(chuàng)新方面的基礎(chǔ)工作息息相關(guān),作為該團(tuán)隊(duì)的核心力量,騰訊云數(shù)據(jù)庫(kù)專家工程師李海翔帶來(lái)了《分布式數(shù)據(jù)庫(kù)的演進(jìn)》主題分享,全面地回顧了分布式數(shù)據(jù)庫(kù)技術(shù)的發(fā)展歷程,并層層剖析分布式數(shù)據(jù)庫(kù)架構(gòu),分布式一致性、計(jì)算與存儲(chǔ)技術(shù),以及基于HTAP的TDSQL強(qiáng)一致性技術(shù)實(shí)踐。
“分布式數(shù)據(jù)庫(kù)系統(tǒng)的演進(jìn)是由內(nèi)在的、本質(zhì)性的需求在推動(dòng),高可靠、高可用、高性能、易用性等基礎(chǔ)因素在推動(dòng)著分布式技術(shù)不斷地向前發(fā)展?!崩詈O鑿膶W(xué)術(shù)界、工業(yè)界的角度對(duì)比分析了分布式系統(tǒng)經(jīng)典架構(gòu)、主流技術(shù)的差異。他認(rèn)為,分布式數(shù)據(jù)庫(kù)系統(tǒng)里技術(shù)層面最核心的一定是事務(wù),而事務(wù)處理會(huì)產(chǎn)生數(shù)據(jù)異常。此外,分布式數(shù)據(jù)庫(kù)系統(tǒng)還面臨著缺乏一致性所帶來(lái)的挑戰(zhàn)。同時(shí),新的硬件在計(jì)算、存儲(chǔ)上也面臨挑戰(zhàn)。基于這些需求,騰訊的TDSQL系統(tǒng)包含了分析、事務(wù)處理、強(qiáng)一致等特性。隨后,他詳細(xì)地展示了騰訊的TDSQL開(kāi)源系統(tǒng)3TS如何解決數(shù)據(jù)異常問(wèn)題,TDSQL研究的基礎(chǔ)技術(shù),也是基于學(xué)術(shù)界的認(rèn)識(shí)和業(yè)界的現(xiàn)有產(chǎn)品對(duì)于強(qiáng)一致的支持程度得出的結(jié)果。
騰訊云數(shù)據(jù)庫(kù)專家工程師李海翔
分布式數(shù)據(jù)庫(kù)在微眾銀行核心系統(tǒng)的實(shí)踐
技術(shù)的發(fā)展與進(jìn)步,最終還要回歸到實(shí)際的落地與應(yīng)用,在分布式數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域,TDSQL在微眾銀行核心系統(tǒng)的大規(guī)模實(shí)踐便是一個(gè)經(jīng)典的案例。微眾銀行數(shù)據(jù)庫(kù)平臺(tái)室室經(jīng)理,騰訊云TVP胡盼盼帶來(lái)了《分布式數(shù)據(jù)庫(kù)在微眾銀行核心系統(tǒng)的實(shí)踐》的行業(yè)實(shí)戰(zhàn)分享。
微眾銀行數(shù)據(jù)庫(kù)平臺(tái)室室經(jīng)理、騰訊云TVP胡盼盼
準(zhǔn)確把握了金融行業(yè)數(shù)據(jù)庫(kù)“國(guó)產(chǎn)化、去中心化、開(kāi)源化”的三大趨勢(shì),微眾銀行在成立之初就確定要做單元化的分布式架構(gòu)。在單元化架構(gòu)之上,微眾銀行擁有2地7中心的機(jī)房IDC架構(gòu);目前所有的核心系統(tǒng)基本使用TDSQL承載。這樣的數(shù)據(jù)庫(kù)架構(gòu)部署在高可靠、高可用等方面優(yōu)點(diǎn)凸顯。如今微眾銀行的TDSQL規(guī)模承載了數(shù)百個(gè)銀行的核心系統(tǒng),目前已達(dá)到單日峰值6億+金融交易量,10萬(wàn)+最高TPS峰值。
未來(lái),微眾銀行數(shù)據(jù)庫(kù)的演進(jìn)方向會(huì)朝硬件國(guó)產(chǎn)化、云原生與容器化、智能化預(yù)警(AIops)發(fā)展。
騰訊云TDSQL-C架構(gòu)探索和實(shí)踐
TDSQL是峰會(huì)中被多次提及的熱門(mén)話題,TDSQL-C作為騰訊自主研發(fā)的存儲(chǔ)和計(jì)算分離的數(shù)據(jù)庫(kù)產(chǎn)品,實(shí)現(xiàn)了哪些突破性的創(chuàng)新?騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān)張青林帶來(lái)了《騰訊云TDSQL-C架構(gòu)探索和實(shí)踐》的詳盡解析。
針對(duì)傳統(tǒng)CDB所面臨的存儲(chǔ)容量、拓展性、可用性、可靠性這四大方面的挑戰(zhàn),騰訊云TDSQL-C應(yīng)運(yùn)而生。它具有海量存儲(chǔ)、智能擴(kuò)容、線性擴(kuò)充性能,兼容MySQL和PG等優(yōu)異特性。這些設(shè)計(jì)源于解決用戶實(shí)際問(wèn)題的需要,同時(shí)實(shí)現(xiàn)了幾大突破:突破Serverless場(chǎng)景、IO Bound性能優(yōu)化、無(wú)感知備份。目前,TDSQL-C仍在不斷革新,張青林分享了后續(xù)的兩大重點(diǎn)發(fā)展方向:實(shí)現(xiàn)云時(shí)代的極簡(jiǎn)數(shù)據(jù)庫(kù)運(yùn)維,以及云時(shí)代的Low Database業(yè)務(wù)開(kāi)發(fā)。
騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān)張青林
正如李海翔老師所言,騰訊有豐富的數(shù)據(jù)庫(kù)產(chǎn)品,其中部分基于開(kāi)源項(xiàng)目開(kāi)發(fā),同時(shí)騰訊也在回饋社區(qū)、擁抱開(kāi)源。不僅是產(chǎn)品,騰訊還在推動(dòng)基礎(chǔ)研究的技術(shù)開(kāi)源與思想的開(kāi)源,希望在未來(lái)形成良性互動(dòng)的、更好的互生模式。
而在未來(lái),騰訊云數(shù)據(jù)庫(kù)也將持續(xù)探索,打造新的時(shí)代下更便捷易用的數(shù)據(jù)庫(kù)產(chǎn)品。面對(duì)開(kāi)發(fā)者,騰訊云數(shù)據(jù)庫(kù)會(huì)繼續(xù)聯(lián)合TVP,攜手領(lǐng)域大咖,為各位數(shù)據(jù)庫(kù)愛(ài)好者帶來(lái)數(shù)據(jù)庫(kù)領(lǐng)域最前沿的洞察、最實(shí)際的觀點(diǎn)。