華為云GaussDB(DWS)數(shù)據(jù)倉庫以2048大規(guī)模節(jié)點通過信通院評測認證

12月18日，由中國信息通信研究院、中國通信標準化協(xié)會、北京市大數(shù)據(jù)中心聯(lián)合主辦的“2020數(shù)據(jù)資產(chǎn)管理大會”在北京拉開帷幕，會上信通院為通過大數(shù)據(jù)、數(shù)據(jù)庫等能力評測的產(chǎn)品頒發(fā)證書。華為云GaussDB(DWS)數(shù)據(jù)倉庫以單集群2048節(jié)點的超大規(guī)模，滿分通過測試認證，是迄今為止信通院認證的最大規(guī)模分布式數(shù)據(jù)庫集群，刷新了歷史紀錄，樹立了業(yè)界新標桿。

隨著移動互聯(lián)網(wǎng)、IoT、人工智能等技術的迅速發(fā)展，數(shù)據(jù)產(chǎn)生的規(guī)模空前增長，據(jù)知名咨詢機構(gòu)統(tǒng)計，預計未來5年數(shù)據(jù)規(guī)模年均增速達30%，面對快速膨脹的數(shù)據(jù)規(guī)模，各類企業(yè)、機構(gòu)需要更快、更全面的掌握分析數(shù)據(jù)，挖掘內(nèi)在價值，支撐經(jīng)營決策和優(yōu)化管理，數(shù)據(jù)倉庫作為核心查詢分析平臺，必須要具備大規(guī)模集群能力，也是數(shù)據(jù)庫廠商需要突破的核心技術點之一。

華為云GaussDB(DWS)為各企業(yè)用戶提供最佳性能、按需擴展、穩(wěn)定可靠的企業(yè)級數(shù)據(jù)倉庫，滿足客戶超大規(guī)模數(shù)據(jù)的高性能查詢分析訴求。在本次大規(guī)模集群測試評估中，華為云GaussDB(DWS)一次性通過50項測試用例，包括27項必選用例和23項可選用例，交出了完美的答卷。

大規(guī)模數(shù)據(jù)倉庫集群不僅僅是將眾多服務器“攢”起來，更需要解決大并發(fā)復雜查詢下的通信連接風暴問題。并且在數(shù)千節(jié)點的集群中，平均每天都會有硬件故障發(fā)生，如何應對“硬件不可靠”帶來的問題？如何在硬件亞健康情況下數(shù)據(jù)倉仍能提供穩(wěn)定的性能，如何在操作系統(tǒng)“軟死”情況下數(shù)據(jù)倉庫不出現(xiàn)卡頓、無響應等問題，是技術面臨的極大挑戰(zhàn)。在2048節(jié)點大規(guī)模集群認證的背后，是華為云GaussDB(DWS)強大“硬核科技”的表現(xiàn)。

一、Multi-Streams多流通信技術

在2048節(jié)點規(guī)模下，集群進行全并行數(shù)據(jù)交換時，集群內(nèi)可達百億級的并行連接，出現(xiàn)通信連接風暴，已遠遠超出TCP連接端口號和socket文件句柄上限。

GaussDB(DWS)自研的Multi-Streams多流通信技術，將連接數(shù)提升5個數(shù)量級，突破物理機TCP連接端口限制，能夠支持集群內(nèi)百億級通信連接，并且理論支持節(jié)點數(shù)無上限。

Multi-Streams多流通信采用邏輯連接技術，避免了TCP物理連接的三次握手的機制，單數(shù)據(jù)節(jié)點建連性能達到100萬次/s，提升20倍。

該技術基于全異步無阻塞代理通信架構(gòu)，支持跨邏輯連接的socket合并，將網(wǎng)絡吞吐能力提升3倍。

二、高可用設計及集群管理技術

GaussDB(DWS)設計之初，即充分考慮高可用性，其具備多層級高可用及容災能力，在進程級、節(jié)點級、集群級出現(xiàn)軟硬件異常的情況下具備平滑處理能力。

在棘手的硬件亞健康、“軟死”問題上，GaussDB(DWS)具備完善的智能檢測和處理機制，能夠?qū)崟r監(jiān)測任意節(jié)點狀態(tài)，包括服務器亞健康狀態(tài)、磁盤慢盤、靜默損壞等等場景，通過自動感知、剔除、平滑切換等高可用策略，提高業(yè)務的連續(xù)性。

并且，在物理組件發(fā)生故障的情況下，Server端Multi-Retries技術能夠大幅減少故障失敗的業(yè)務感知，保障業(yè)務持續(xù)運行。

在集群管理上，針對超大節(jié)點數(shù)場景，通過邏輯重構(gòu)，實現(xiàn)集群起停的全并行處理，2048節(jié)點規(guī)模下具備分鐘級起停能力。

三、大規(guī)模場景下的并行數(shù)據(jù)備份恢復技術

完全在線：數(shù)據(jù)備份期間，采用全程無加鎖技術，任何業(yè)務SQL、包括DDL均不受影響。

多層級并行極速備份：每節(jié)點獨立多并發(fā)、多通道備份，提供10PB級數(shù)據(jù)快速備份恢復性能。

全局一致性快照：集群級全局一致性快照，數(shù)據(jù)強一致性保證。

細粒度數(shù)據(jù)恢復：支持多粒度數(shù)據(jù)恢復，滿足客戶誤刪、個別表損壞等緊急恢復需求。

得益于包括以上三點在內(nèi)的一系列核心技術，華為云GaussDB(DWS)一舉通過信通院2048節(jié)點大規(guī)模分布式分析型數(shù)據(jù)庫評測，成為國內(nèi)首個單集群突破兩千的商用數(shù)據(jù)倉庫產(chǎn)品。

華為云GaussDB(DWS)數(shù)據(jù)倉庫已廣泛應用于金融、政府、運營商、交通、物流、互聯(lián)網(wǎng)等領域，服務于全球1000+客戶。GaussDB(DWS)踐行"平臺+生態(tài)"戰(zhàn)略，聯(lián)合500+合作伙伴，為各行業(yè)提供競爭力的數(shù)據(jù)倉庫解決方案。