TDSQL在微信支付數(shù)據(jù)密集型應(yīng)用落地實(shí)踐

來(lái)源: 騰訊云數(shù)據(jù)庫(kù)
作者:騰訊云數(shù)據(jù)庫(kù)
時(shí)間:2021-08-30
16902
日前,騰訊云數(shù)據(jù)庫(kù)開(kāi)源產(chǎn)品TDSQL PG版(開(kāi)源代號(hào)TBase)宣布推出重磅升級(jí)——經(jīng)過(guò)一年半的打磨,上萬(wàn)張表訪(fǎng)問(wèn)場(chǎng)景下,內(nèi)存占用節(jié)省60%;查詢(xún)性能提升百倍;SQL語(yǔ)句兼容性增強(qiáng)。同時(shí),大力提升原有數(shù)據(jù)庫(kù)版本在分布式場(chǎng)景下的易用性。

日前,騰訊云數(shù)據(jù)庫(kù)開(kāi)源產(chǎn)品TDSQL PG版(開(kāi)源代號(hào)TBase)宣布推出重磅升級(jí)——經(jīng)過(guò)一年半的打磨,上萬(wàn)張表訪(fǎng)問(wèn)場(chǎng)景下,內(nèi)存占用節(jié)省60%;查詢(xún)性能提升百倍;SQL語(yǔ)句兼容性增強(qiáng)。同時(shí),大力提升原有數(shù)據(jù)庫(kù)版本在分布式場(chǎng)景下的易用性。

TDSQL PG版是一款具備HTAP能力、經(jīng)過(guò)騰訊多年持續(xù)投入研發(fā)的數(shù)據(jù)庫(kù)產(chǎn)品,是騰訊云數(shù)據(jù)庫(kù)團(tuán)隊(duì)在開(kāi)源的PostgreSQL基礎(chǔ)上研發(fā)的企業(yè)級(jí)分布式HTAP數(shù)據(jù)庫(kù)管理系統(tǒng),能夠提供成熟的一站式解決方案。騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān)李躍森介紹到,“在首次開(kāi)源的10天內(nèi),TDSQL PG版的Star數(shù)就達(dá)到了500多個(gè)。開(kāi)源不久,就受到了歐洲航天局、國(guó)家天文臺(tái),以及醫(yī)療健康、零售等各個(gè)行業(yè)用戶(hù)的青睞?!?/p>

作為新一代分布式企業(yè)級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng),TDSQL一直以來(lái)都應(yīng)用于微信支付核心系統(tǒng),支持微信支付實(shí)現(xiàn)高性能、高可用、數(shù)字化應(yīng)用。近年來(lái),微信支付基于TDSQL PG版構(gòu)建數(shù)據(jù)密集型應(yīng)用,實(shí)現(xiàn)單表數(shù)據(jù)輕松突破TB級(jí)海量存儲(chǔ),TDSQL PG版高吞吐、高并發(fā),自動(dòng)擴(kuò)容的能力,充分滿(mǎn)足了微信支付的業(yè)務(wù)場(chǎng)景需求。

那微信支付應(yīng)用TDSQL PG版的過(guò)程中經(jīng)歷了哪些故事?TDSQL PG版在微信支付系統(tǒng)中又有哪些典型應(yīng)用案例呢?

1 微信支付與TDSQL PG版的陪跑歷程

“如果要用一個(gè)形容詞來(lái)描述微信支付與TDSQL PG版的關(guān)系,那就是‘你儂我儂’?!彬v訊高級(jí)工程師萬(wàn)志穎在介紹微信支付案例時(shí)表示,“TDSQL PG版為我們提供武器,微信支付則為T(mén)DSQL PG版提供了充足的試煉戰(zhàn)場(chǎng)?!?/p>

以微信支付的商戶(hù)服務(wù)平臺(tái)為例,該平臺(tái)主要是為千萬(wàn)級(jí)的商家提供帳單明細(xì)下載及帳單復(fù)雜條件查詢(xún)及統(tǒng)計(jì)分析的平臺(tái)。最開(kāi)始,平臺(tái)使用開(kāi)源MySQL作為底端存儲(chǔ)。但隨著京東等大商戶(hù)的接入,交易筆數(shù)逐步提升,數(shù)據(jù)增長(zhǎng)單機(jī)存儲(chǔ)容量受限,微信支付遇到嚴(yán)重的容量瓶頸和性能瓶頸。在當(dāng)時(shí)的技術(shù)背景下,微信支付迫切需要一個(gè)好的解決方案,于是就選擇了TDSQL PG版。

640.webp.jpg

TDSQL提供的解決方案很好地解決了微信支付遇到的問(wèn)題。在容量問(wèn)題上,TDSQL提供了海量數(shù)據(jù)存儲(chǔ)的在線(xiàn)線(xiàn)性擴(kuò)容能力;在大商戶(hù)的數(shù)據(jù)傾斜問(wèn)題上,TDSQL基于雙KEY分布等機(jī)制解決了數(shù)據(jù)存儲(chǔ)均勻分布的問(wèn)題;在分頁(yè)查詢(xún)性能問(wèn)題上,TDSQL提供了基于Index only scan索引的相關(guān)優(yōu)化方案,解決了傳統(tǒng)web應(yīng)用分頁(yè)場(chǎng)景中總條數(shù)查詢(xún)耗時(shí)高的問(wèn)題。

“在交易系統(tǒng)基礎(chǔ)上的更進(jìn)一步應(yīng)用的過(guò)程中,我們發(fā)現(xiàn)TDSQL PG版相關(guān)特性十分適合用于數(shù)據(jù)倉(cāng)庫(kù)中的維表存儲(chǔ),于是在2021年微信支付基于TDSQL PG版搭建了數(shù)據(jù)倉(cāng)庫(kù)的維表管理系統(tǒng),使其成為大數(shù)據(jù)生態(tài)中的重要組件。”萬(wàn)志穎介紹。

2 TDSQL PG版在微信支付的應(yīng)用實(shí)踐

近年來(lái),TDSQL PG版助力微信支付構(gòu)建數(shù)據(jù)密集型應(yīng)用,持續(xù)拓展應(yīng)用場(chǎng)景,在多個(gè)領(lǐng)域體現(xiàn)出比較優(yōu)勢(shì),保證了業(yè)務(wù)的穩(wěn)定性和連續(xù)性。在此以報(bào)表系統(tǒng)和維表系統(tǒng)為例介紹TDSQL PG版在微信支付的應(yīng)用實(shí)踐。

微信支付報(bào)表系統(tǒng)中,存在兩種典型的讀寫(xiě)模型:一種是基于spark離線(xiàn)計(jì)算平臺(tái)周期性寫(xiě)入,比如一天寫(xiě)入一次,每次寫(xiě)的數(shù)據(jù)很少,但也有可能寫(xiě)的數(shù)據(jù)量是十億級(jí)或者百億級(jí)。另外一種是通過(guò)消息隊(duì)列的方式進(jìn)行實(shí)時(shí)寫(xiě)入來(lái)構(gòu)建實(shí)時(shí)報(bào)表。因?yàn)閷?xiě)入端是大數(shù)據(jù)系統(tǒng),每次寫(xiě)入的數(shù)據(jù)量極其巨大,因此對(duì)底層數(shù)據(jù)存儲(chǔ)的寫(xiě)入性能要求比較高。相比于開(kāi)源MySQL,TDSQL PG版在并行寫(xiě)入方面有明顯優(yōu)勢(shì),具備更好的并行寫(xiě)入性能及吞吐能力,可以大幅降低我們數(shù)據(jù)入庫(kù)完成時(shí)間,也能夠支撐實(shí)時(shí)報(bào)表等場(chǎng)景的需求。

在報(bào)表頁(yè)面讀取數(shù)據(jù)方面,TDSQL PG版相比較開(kāi)源MySQL具備更為豐富的索引類(lèi)型支持。例如微信支付有一個(gè)業(yè)務(wù)場(chǎng)景是從百億級(jí)數(shù)據(jù)中模糊檢索商戶(hù)名稱(chēng),在引入TDSQL PG版前該場(chǎng)景的查詢(xún)耗時(shí)接近17秒,優(yōu)化之后該場(chǎng)景的耗時(shí)直接降到50毫秒以?xún)?nèi),性能實(shí)現(xiàn)了極大提升。

截至目前,TDSQL PG版已經(jīng)累計(jì)承載了微信支付3600+報(bào)表的數(shù)據(jù)寫(xiě)入、存儲(chǔ)和讀取,報(bào)表打開(kāi)時(shí)間均能穩(wěn)定控制在3秒以?xún)?nèi),為整個(gè)報(bào)表平臺(tái)的性能帶來(lái)極大的改善。

640.webp (1).jpg

微信支付還基于TDSQL PG版來(lái)構(gòu)建維表系統(tǒng)。維表是描述一個(gè)事物的不同角度,比如性別上的男和女,寫(xiě)代碼時(shí)的枚舉值也可以認(rèn)為是一種維表。接下來(lái)就以枚舉值為例闡述微信支付如何基于TDSQL PG版來(lái)構(gòu)建維表系統(tǒng)。

微信支付所有系統(tǒng)的枚舉值都是基于履約建表系統(tǒng)進(jìn)行統(tǒng)一的錄入,目前總共有2700+枚舉值的數(shù)據(jù),下游的OLTP數(shù)據(jù)倉(cāng)庫(kù)中的計(jì)算任務(wù)以及報(bào)表系統(tǒng)、運(yùn)營(yíng)系統(tǒng)都會(huì)讀取這些枚舉值。如果上游對(duì)枚舉值進(jìn)行了修改或者新增,而下游得不到感知,這就會(huì)給整個(gè)系統(tǒng)的穩(wěn)定性造成嚴(yán)重后果。

為了解決這類(lèi)問(wèn)題,微信支付基于TDSQL PG版打通了OLTP系統(tǒng)與OLAP能力融合的維表系統(tǒng),在OLTP維表管理系統(tǒng)中錄入或更新維表數(shù)據(jù)后,不論是在在線(xiàn)業(yè)務(wù)中、Spark計(jì)算中或者是報(bào)表系統(tǒng)中,都能實(shí)時(shí)引用最小的枚舉值數(shù)據(jù)參與計(jì)算。與此同時(shí),數(shù)據(jù)使用方也可以直接在數(shù)據(jù)倉(cāng)庫(kù)中看到每個(gè)枚舉值字段的枚舉值,不需要一層一層去查詢(xún),枚舉值管理的復(fù)雜性得以控制,降低了相應(yīng)的質(zhì)量風(fēng)險(xiǎn),達(dá)到金融領(lǐng)域應(yīng)用的要求,極大的提高了我們的維護(hù)效率。

640.webp (2).jpg

在整體運(yùn)營(yíng)上,目前微信支付在TDSQL PG版的存儲(chǔ)量已經(jīng)達(dá)到400TB+,每秒的請(qǐng)求量超過(guò)24萬(wàn)次,99.6%的請(qǐng)求基本上耗時(shí)都可以控制在10毫秒以?xún)?nèi),充分滿(mǎn)足了微信支付的在性能和穩(wěn)定性上的高要求。

640.webp (3).jpg

TDSQL是騰訊云企業(yè)級(jí)分布式數(shù)據(jù)庫(kù),旗下涵蓋金融級(jí)分布式、云原生、分析型等多引擎融合的完整數(shù)據(jù)庫(kù)產(chǎn)品體系,提供業(yè)界領(lǐng)先的金融級(jí)高可用、計(jì)算存儲(chǔ)分離、數(shù)據(jù)倉(cāng)庫(kù)、企業(yè)級(jí)安全等能力,同時(shí)具備智能運(yùn)維平臺(tái)、Serverless版本等完善的產(chǎn)品服務(wù)體系。

截至2020年,TDSQL已對(duì)外服務(wù)數(shù)千家金融政企機(jī)構(gòu),同時(shí)廣泛覆蓋游戲、電商、移動(dòng)互聯(lián)網(wǎng)、云開(kāi)發(fā)等泛互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景,助力新零售、教育、SaaS、廣告等超過(guò)4000家行業(yè)客戶(hù)進(jìn)行數(shù)字化升級(jí)。

立即登錄,閱讀全文
版權(quán)說(shuō)明:
本文內(nèi)容來(lái)自于騰訊云數(shù)據(jù)庫(kù),本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個(gè)人觀點(diǎn),不代表快出海對(duì)觀點(diǎn)贊同或支持。如有侵權(quán),請(qǐng)聯(lián)系管理員(zzx@kchuhai.com)刪除!
相關(guān)文章
騰訊云數(shù)據(jù)庫(kù)PostgreSQL全面支持PG 17
騰訊云數(shù)據(jù)庫(kù)PostgreSQL全面支持PG 17
即日起,騰訊云PostgreSQL全面支持PostgreSQL 17.0。所有用戶(hù)可使用大版本升級(jí)能力升級(jí)至最新的PostgreSQL 17.0進(jìn)行體驗(yàn),也可以在產(chǎn)品購(gòu)買(mǎi)頁(yè)直接購(gòu)買(mǎi)。
騰訊云
云服務(wù)
2024-12-152024-12-15
高可用這個(gè)問(wèn)題,加機(jī)器就能解決?
高可用這個(gè)問(wèn)題,加機(jī)器就能解決?
互聯(lián)網(wǎng)服務(wù)的可用性問(wèn)題是困擾企業(yè)IT人員的達(dá)摩克利斯之劍:防于未然,體現(xiàn)不出價(jià)值。已然發(fā)生,又面臨P0危機(jī)。就更別提穩(wěn)定性建設(shè)背后顯性的IT預(yù)算問(wèn)題與隱性的人員成本問(wèn)題。
騰訊云
云服務(wù)
2024-11-252024-11-25
TDSQL TDStore引擎版替換HBase:在歷史庫(kù)場(chǎng)景中的成本與性能優(yōu)勢(shì)
TDSQL TDStore引擎版替換HBase:在歷史庫(kù)場(chǎng)景中的成本與性能優(yōu)勢(shì)
HBase憑借其高可用性、高擴(kuò)展性和強(qiáng)一致性,以及在廉價(jià)PC服務(wù)器上的低部署成本,廣泛應(yīng)用于大規(guī)模數(shù)據(jù)分析。
騰訊云
云服務(wù)
2024-11-042024-11-04
復(fù)雜查詢(xún)性能弱,只讀分析引擎來(lái)幫忙
復(fù)雜查詢(xún)性能弱,只讀分析引擎來(lái)幫忙
隨著當(dāng)今業(yè)務(wù)的高速發(fā)展,復(fù)雜多表關(guān)聯(lián)的場(chǎng)景越來(lái)越普遍。但基于行式存儲(chǔ)的數(shù)據(jù)庫(kù)在進(jìn)行復(fù)雜查詢(xún)時(shí)性能相對(duì)較弱。
騰訊云
云服務(wù)
2024-11-022024-11-02
優(yōu)質(zhì)服務(wù)商推薦
更多
掃碼登錄
打開(kāi)掃一掃, 關(guān)注公眾號(hào)后即可登錄/注冊(cè)
加載中
二維碼已失效 請(qǐng)重試
刷新
賬號(hào)登錄/注冊(cè)
個(gè)人VIP
小程序
快出海小程序
公眾號(hào)
快出海公眾號(hào)
商務(wù)合作
商務(wù)合作
投稿采訪(fǎng)
投稿采訪(fǎng)
出海管家
出海管家