復(fù)雜查詢性能弱，只讀分析引擎來幫忙

導(dǎo)語

隨著當(dāng)今業(yè)務(wù)的高速發(fā)展，復(fù)雜多表關(guān)聯(lián)的場景越來越普遍。但基于行式存儲的數(shù)據(jù)庫在進(jìn)行復(fù)雜查詢時性能相對較弱。

在復(fù)雜邏輯越來越高頻的需求下，這怎么解決呢？這就促使了開發(fā)者在實現(xiàn)過程中將一些復(fù)雜邏輯變成了分批次的從數(shù)據(jù)庫中取出數(shù)據(jù)，然后在業(yè)務(wù)中使用代碼去處理的獨特現(xiàn)象?；蛘呤褂靡恍?shù)倉產(chǎn)品來去承載此類業(yè)務(wù)，但是這樣子的做法自然就導(dǎo)致了業(yè)務(wù)架構(gòu)復(fù)雜，邏輯臃腫等諸多問題的發(fā)生。

那么到底如何在數(shù)據(jù)庫中解決這些問題呢？騰訊云數(shù)據(jù)庫TDSQL-C推出了只讀分析引擎功能，通過擴展的只讀實例結(jié)合列式存儲與計算優(yōu)化的方案可輕松應(yīng)對一切復(fù)雜查詢場景，從容處理在業(yè)務(wù)中的慢SQL。

只讀分析引擎簡介

只讀分析引擎是TDSQL-C MySQL版支持的全新功能，此功能基于LibraDB引擎實現(xiàn)，通過只讀實例提供服務(wù)。其可插拔式的引擎設(shè)計可以實現(xiàn)靈活的創(chuàng)建以及銷毀，同時為用戶提供海量數(shù)據(jù)處理與高效實時的復(fù)雜分析能力。使用只讀分析引擎，業(yè)務(wù)完全無需維護復(fù)雜的ETL組件，直接開啟只讀實例即可輕松享受處理復(fù)雜查詢場景下的極致性能。

高速分析引擎LibraDB

不同于TDSQL-C MySQL版原生基于Innodb引擎升級改造的TXSQL引擎，LibraDB引擎是一款自研的列式存儲與計算引擎。Innodb引擎能在讀寫實例和只讀實例中選擇使用，但是LibraDB引擎只能在只讀實例中被選擇。

LibraDB引擎支持以非常低的執(zhí)行時延從海量數(shù)據(jù)中完成復(fù)雜查詢分析，讓您的業(yè)務(wù)分析系統(tǒng)可以及時高效地獲取到有用的信息。LibraDB引擎支持向量化引擎、大規(guī)模并行執(zhí)行等針對分析類查詢的加速特性，無論是在超大表的多表JOIN、數(shù)據(jù)聚合和排序，還是復(fù)雜嵌套SQL等查詢場景，LibraDB引擎都能提供出色的性能體驗。更加詳細(xì)關(guān)于LibraDB引擎的計算能力文章可參考：LibraDB計算引擎設(shè)計與思考（技術(shù)干貨丨TDSQL列存引擎LibraDB計算模型的設(shè)計與思考）

靈活開關(guān)的分析引擎

只讀分析引擎兼容MySQL協(xié)議和語法，用戶無需修改業(yè)務(wù)代碼，可直接將復(fù)雜的查詢語句放置于只讀分析引擎中執(zhí)行，同時亦可根據(jù)業(yè)務(wù)的實際情況選擇是否開啟只讀分析引擎，并且在無需分析加速的時候，可隨時關(guān)閉只讀分析引擎，以達(dá)到控制成本的目的。

實時列存數(shù)據(jù)加載能力

通過只讀分析引擎內(nèi)置的數(shù)據(jù)加載組件，可快速將TDSQL-C MySQL版中的數(shù)據(jù)加載至只讀分析引擎中。同時在完成數(shù)據(jù)加載后，亦可實時同步在讀寫實例中對數(shù)據(jù)的所有變更，使行列數(shù)據(jù)變得實時一致。另外，針對傳統(tǒng)列式存儲在高并發(fā)數(shù)據(jù)UPDATE與DELETE的場景中數(shù)據(jù)變更低效的問題，LibraDB引擎也提供了在高并發(fā)數(shù)據(jù)更新場景下的列式存儲能力，可以支撐實時的數(shù)據(jù)同步，以達(dá)到數(shù)據(jù)實時同步的效果。

指定數(shù)據(jù)加載能力

作為傳統(tǒng)的只讀實例而言，所有的主庫數(shù)據(jù)均需要同步到從庫中。但是對于只讀分析引擎而言，可以支持指定對象加載到分析引擎中，而不是一定要求所有的對象。用戶可以指定需要使用只讀分析引擎加速的庫表，或者有數(shù)據(jù)分析價值的庫表加載到只讀分析引擎中進(jìn)行數(shù)據(jù)分析，靈活控制只讀分析引擎所占用的磁盤大小。

超高數(shù)據(jù)壓縮率

基于列式存儲的結(jié)構(gòu)，提供超高數(shù)據(jù)掃描性能的同時，還能夠同時提供至少50%的壓縮率，大幅度降低存儲的成本。

完善的云上托管能力

無需運維復(fù)雜的ETL邏輯，無需關(guān)心數(shù)據(jù)庫的后端運維，通過全托管的產(chǎn)品設(shè)計，讓您獲得開箱即用的數(shù)據(jù)分析能力體驗。同時，通過全面監(jiān)控功能，從TXSQL到分析引擎，從鏈路層到存儲層，精心篩選出核心指標(biāo)，為您去繁化簡，讓您能迅速通過關(guān)鍵指標(biāo)了解實例健康情況，為業(yè)務(wù)系統(tǒng)的使用提供有效的優(yōu)化指引。除此之外，您還可以自定義閾值告警，提前防范可能出現(xiàn)的異常情況。

適用場景

只讀分析引擎旨在為用戶提供實時的高性能數(shù)據(jù)分析，以幫助用戶解決自行構(gòu)建ETL工具同步數(shù)據(jù)的復(fù)雜運維難題。通過只讀分析引擎的功能，用戶可以輕松地一鍵化地構(gòu)建數(shù)據(jù)分析實例，以作為業(yè)務(wù)決策的依據(jù)，充分發(fā)揮數(shù)據(jù)的價值。

報表分析、實時看板

面向企業(yè)內(nèi)部分析和管理者的報表系統(tǒng)，可以及時、實時地查看到業(yè)務(wù)系統(tǒng)線上的運行情況；或者面向業(yè)務(wù)運營的數(shù)據(jù)分析業(yè)務(wù)。此類業(yè)務(wù)場景中的查詢SQL復(fù)雜，且查詢模式不固定，需要較高的吞吐，同時線上數(shù)據(jù)較多，使用只讀分析引擎可滿足業(yè)務(wù)在此類場景下的實時性與高性能。

用戶畫像、行為分析

在廣告業(yè)務(wù)、游戲運營場景下，經(jīng)常會需要針對用戶行為、用戶畫像進(jìn)行深度分析，分析后的結(jié)果用于實時的經(jīng)營決策。此類場景數(shù)據(jù)量大、需要及時返回數(shù)據(jù)分析結(jié)果，查詢QPS較高，使用只讀分析引擎，用戶可以在此類場景中快速獲得需要分析的數(shù)據(jù)，用于用戶行為分析，以作為精準(zhǔn)推送相關(guān)業(yè)務(wù)的決策依據(jù)。

實時數(shù)據(jù)倉庫

在電商大促訂單的數(shù)據(jù)分析、物流行業(yè)的運單分析、金融行業(yè)的績效分析、指標(biāo)計算、直播質(zhì)量分析、廣告推送分析、智能駕駛艙、探針分析場景下亦可使用只讀分析引擎以獲取超高的復(fù)雜查詢性能。

大數(shù)據(jù)對賬、批量計算

在一些在線業(yè)務(wù)中，特別是與金錢有關(guān)的業(yè)務(wù)場景中需要定時對數(shù)據(jù)進(jìn)行統(tǒng)計合并的對賬計算，在傳統(tǒng)的行式數(shù)據(jù)中進(jìn)行數(shù)據(jù)批量計算對賬效率低，資源消耗高。無法快速的達(dá)到業(yè)務(wù)預(yù)期。通過借助只讀分析引擎的超強并發(fā)計算能力可以以極高效率的完成業(yè)務(wù)需求。

未來展望

只讀分析引擎本期即將在云原生數(shù)據(jù)庫TDSQL-C MySQL版中正式開啟內(nèi)測，后續(xù)只讀分析引擎亦會在云數(shù)據(jù)庫MySQL等MySQL系列產(chǎn)品中陸續(xù)上線。使用相關(guān)產(chǎn)品的伙伴可敬請期待。