2天完成17TB數(shù)據(jù)量遷移，華為云數(shù)據(jù)庫(kù)是如何做的？

童年時(shí)候，我們會(huì)對(duì)著墻上掛著的中國(guó)地圖，來認(rèn)識(shí)一處處山川河流和城市人文。如今，數(shù)字化時(shí)代下，傳統(tǒng)的地圖已經(jīng)不能滿足人們的需求，如何獲取各種豐富的地理內(nèi)容和實(shí)時(shí)動(dòng)態(tài)信息成為現(xiàn)代人普遍的地理信息訴求。

作為國(guó)家基礎(chǔ)地理信息公共服務(wù)平臺(tái)，天地圖集成了來自國(guó)家、省、市（縣）各級(jí)測(cè)繪地理信息部門，以及相關(guān)政府部門、企事業(yè)單位、社會(huì)團(tuán)體、公眾的地理信息公共服務(wù)資源，以門戶網(wǎng)站、服務(wù)接口、前置服務(wù)等形式向政府、專業(yè)部門、企業(yè)、公眾等用戶提供在線地理信息服務(wù)。

此前，國(guó)家基礎(chǔ)地理信息中心攜手華為云，基于天地圖平臺(tái)，共同打造云上智慧地圖，促進(jìn)地理信息資源共享和高效利用，讓世界觸手可及。

地理數(shù)據(jù)量增加，數(shù)據(jù)庫(kù)彈性迎挑戰(zhàn)

天地圖覆蓋全國(guó)300多個(gè)地級(jí)以及地級(jí)以上城市0.6米分辨率的衛(wèi)星遙感影像等地理信息數(shù)據(jù)，全庫(kù)數(shù)據(jù)量達(dá)到17TB，數(shù)據(jù)吞吐量巨大。巨大的吞吐量和高額運(yùn)維成本，促使國(guó)家基礎(chǔ)地理信息中心迫切尋求低成本、高可用、高性能、大容量的數(shù)據(jù)庫(kù)產(chǎn)品，同時(shí)希望可以將遷移時(shí)間壓縮到2天左右。

●低成本：早期天地圖運(yùn)營(yíng)投入較多資金，包括數(shù)據(jù)庫(kù)在內(nèi)的IT投入成本居高不下。業(yè)務(wù)有讀寫分離訴求，希望在保證性能的前提下，通過一套實(shí)例實(shí)現(xiàn)讀寫分離，從而降低數(shù)據(jù)庫(kù)成本。

●高可用：社區(qū)版MongoDB一個(gè)shard多數(shù)節(jié)點(diǎn)故障，就會(huì)導(dǎo)致該shard成為只讀，因此希望提供無狀態(tài)的路由節(jié)點(diǎn)，實(shí)現(xiàn)快速故障轉(zhuǎn)移。

●高性能：天地圖每天的訪問量在6億左右，隨著數(shù)據(jù)量和業(yè)務(wù)訪問量的增加，現(xiàn)有系統(tǒng)不足以支撐日益增長(zhǎng)的業(yè)務(wù)需求，需要更高性能的數(shù)據(jù)庫(kù)來支撐日益增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)。

●容量：隨著瓦片層級(jí)增加，數(shù)據(jù)量越來越大，現(xiàn)有MongoDB擴(kuò)容難度大，需要一款數(shù)據(jù)庫(kù)支持不少于20TB的瓦片數(shù)據(jù)，支持在線擴(kuò)容。

●運(yùn)維效率：運(yùn)維人力有限，系統(tǒng)運(yùn)維壓力越來越大，運(yùn)維工作成本越來越高，現(xiàn)有社區(qū)版MongoDB難以支撐運(yùn)維工作需求。希望能夠提供數(shù)據(jù)庫(kù)自運(yùn)維能力，能為數(shù)據(jù)庫(kù)做技術(shù)兜底，降低運(yùn)維成本。

天地圖&華為云

彰顯云上“數(shù)字中國(guó)”新魅力

天地圖業(yè)務(wù)數(shù)據(jù)復(fù)雜，數(shù)據(jù)種類多樣，結(jié)合客戶訴求和業(yè)務(wù)特點(diǎn)，華為云數(shù)據(jù)庫(kù)采用公有云對(duì)外服務(wù)為主，私有云對(duì)內(nèi)測(cè)試為輔的混合云架構(gòu)，提供多種數(shù)據(jù)庫(kù)引擎方案，聯(lián)合打造高性能、高可用的數(shù)字底座。

華為云GaussDB(for Mongo)提供在線地圖的瓦片數(shù)據(jù)處理服務(wù)；華為云RDS for PostgreSQL提供矢量數(shù)據(jù)和三維數(shù)據(jù)處理服務(wù)；華為云RDS for MySQL提供用戶管理和專題圖層屬性服務(wù)，多款數(shù)據(jù)庫(kù)極速融合，共同發(fā)力，17TB的海量數(shù)據(jù)遷移僅僅用了2天。

●高可用特性加持，業(yè)務(wù)穩(wěn)定運(yùn)行

天地圖作為國(guó)家級(jí)的服務(wù)平臺(tái)，數(shù)據(jù)的安全可靠可謂至關(guān)重要。華為云GaussDB(for Mongo)支持跨AZ高可用，擁有完善的跨區(qū)域容災(zāi)策略，每天自動(dòng)進(jìn)行全量備份和增量備份，并定期進(jìn)行恢復(fù)演練，驗(yàn)證備份恢復(fù)流程的有效性，實(shí)現(xiàn)分鐘級(jí)備份恢復(fù)。同時(shí)提供無狀態(tài)的路由節(jié)點(diǎn)，支持秒級(jí)故障轉(zhuǎn)移，客戶業(yè)務(wù)無感知，業(yè)務(wù)運(yùn)行穩(wěn)定。

●超高性能與大容量，再大流量也不怕

天地圖為30+部委機(jī)構(gòu)和全國(guó)30多個(gè)省市提供地理信息基礎(chǔ)平臺(tái)服務(wù)，日均API和服務(wù)調(diào)用超過6億次，訪問壓力極大。華為云GaussDB(for Mongo)可實(shí)現(xiàn)分鐘級(jí)節(jié)點(diǎn)擴(kuò)容和秒級(jí)存儲(chǔ)擴(kuò)容，滿足敏捷業(yè)務(wù)彈性需要，對(duì)天地圖高達(dá)上億的訪問毫無壓力，響應(yīng)能力快穩(wěn)準(zhǔn)，有效保障了天地圖在高負(fù)載情景下業(yè)務(wù)的正常運(yùn)行。而且GaussDB(for Mongo)基于存算分離架構(gòu)和rocksdb優(yōu)化，相比開源MongDB性能提高3倍以上，最大支持96TB的數(shù)據(jù)處理能力，完全滿足天地圖海量業(yè)務(wù)請(qǐng)求。

●降本增效不止一點(diǎn)點(diǎn)

GaussDB(for Mongo)完全兼容MongoDB協(xié)議，客戶業(yè)務(wù)無需任何改造，即可輕松切換數(shù)據(jù)庫(kù)，極大減少了改造成本；而且通過實(shí)時(shí)生成快照和刪除快照的能力，GaussDB(for Mongo)實(shí)現(xiàn)一套集群即可提供讀寫分離的能力，數(shù)據(jù)庫(kù)成本節(jié)省至少50%。天地圖上華為云之后，基于數(shù)據(jù)庫(kù)服務(wù)自動(dòng)化運(yùn)維平臺(tái)，數(shù)據(jù)更新效率提升5倍，新業(yè)務(wù)上線速度提高2倍，還減輕了DBA繁重的運(yùn)維壓力，讓客戶更聚焦業(yè)務(wù)層面。

自2019年2月上線以來，華為云數(shù)據(jù)庫(kù)已輕松支撐天地圖6億+的日均訪問量，保障業(yè)務(wù)平穩(wěn)運(yùn)行，實(shí)現(xiàn)零事故；同時(shí)為公眾提供了更為全面、精準(zhǔn)、權(quán)威、智能、人性化的地理信息服務(wù)，讓全社會(huì)共享測(cè)繪發(fā)展成果，感受“數(shù)字中國(guó)”的獨(dú)特魅力。