強者恒強,華為云是如何走出自己的硬核大數(shù)據(jù)之路？

最近，隨著手機廠商爭先恐后地發(fā)新機，筆者身邊不少人的見面問候語變成了：“你換手機了嗎？”而無論你換什么手機，想必都要考慮“5G時代的數(shù)據(jù)激增，選手機該從多大內(nèi)存起步”的問題。

如果說每個人都已經(jīng)開始意識到個人數(shù)據(jù)激增和數(shù)據(jù)管理的重要性，在To B端，數(shù)據(jù)激增的趨勢更加明顯，隨著5G、AI、IoT等技術(shù)的廣泛應(yīng)用，PB級的數(shù)據(jù)早已見怪不怪，據(jù)預(yù)測。全球每天產(chǎn)生的數(shù)據(jù)量更將從2018年的33ZB快速增長到2025年的180ZB。數(shù)據(jù)種類也越來越多，實時性要求更高，大數(shù)據(jù)不斷在部門、行業(yè)之間流動將成為趨勢，廣大政企用戶也意識到，數(shù)據(jù)將成為“生產(chǎn)力”，為它們在數(shù)字世界與現(xiàn)實世界的融合提供全面的競爭力。大數(shù)據(jù)技術(shù)和應(yīng)用已經(jīng)進入到了“落地”期，越來越多的政企從嘗試性部署進入到了規(guī)模部署的階段。

在現(xiàn)實世界中，需求側(cè)覺醒的同時，在平行的賽博世界中，技術(shù)的進化也一直在持續(xù)。自從2006年Apache Hadoop架構(gòu)發(fā)布以來，到2011年，企業(yè)逐漸采用Hadoop架構(gòu)演進出來的開源或商用大數(shù)據(jù)軟件，開啟了離線計算時代;2012年，以Spark等為核心的流式計算開啟了實時計算時代，在線分析和實時計算的場景也開始逐漸應(yīng)用，但這一階段的使用者主要是開發(fā)人員;2013年至今，隨著數(shù)據(jù)的激增，大數(shù)據(jù)平臺演進成了融合大數(shù)據(jù)平臺，而隨著AI等技術(shù)的突飛猛進，數(shù)據(jù)分析到數(shù)據(jù)挖掘，大數(shù)據(jù)平臺向著智能化進行演進。

我們知道，每個應(yīng)用會產(chǎn)生、存儲大量的數(shù)據(jù)，一般情況下這些數(shù)據(jù)并不能被其他應(yīng)用所使用，所以就形成了“數(shù)據(jù)孤島”。隨著數(shù)據(jù)集市的興起，應(yīng)用的數(shù)據(jù)存儲在一個集中的數(shù)據(jù)倉庫中，可根據(jù)需要導(dǎo)出。但數(shù)據(jù)集市只解決了部分的問題，數(shù)據(jù)管理、數(shù)據(jù)所有權(quán)與安全性等問題亟需解決。

自2009年開始投入研究，最早于2014年推出商用產(chǎn)品，秉承開源開放的心態(tài)，踐行“平臺+生態(tài)”戰(zhàn)略，華為云踩對了歷史的進程，圍繞政企大數(shù)據(jù)全生命周期，華為云FusionInsight是一個技術(shù)領(lǐng)先的云原生智能數(shù)據(jù)湖，是華為云三大使能之數(shù)據(jù)使能方案的堅實數(shù)據(jù)底座。在近日發(fā)布的《IDC MarketScape:中國大數(shù)據(jù)管理平臺廠商評估，2020》(以下簡稱IDC大數(shù)據(jù)報告)報告中，對中國主流大數(shù)據(jù)廠商從能力、戰(zhàn)略、市場份額三個維度進行了全面評估，華為云位居領(lǐng)導(dǎo)者象限領(lǐng)先位置，并在技術(shù)實力和市場份額兩大維度雙領(lǐng)先。

華為云FusionInsight的“硬核”之路

可以看到，在IDC大數(shù)據(jù)報告中，有云服務(wù)廠商、傳統(tǒng)ICT廠商，以及大數(shù)據(jù)時代的創(chuàng)企等三類“玩家”。為何華為云能夠脫穎而出？據(jù)了解，在技術(shù)創(chuàng)新方面，華為云FusionInsight智能數(shù)據(jù)湖具備了五大硬核能力：

硬核能力之一：讓政企客戶在一個大、快、融、穩(wěn)的數(shù)據(jù)湖架構(gòu)下可持續(xù)演進

大：傳統(tǒng)的大數(shù)據(jù)單集群擴容受限，往往擴容到2000節(jié)點就難以突破，華為云FusionInsight通過大集群突破擴展性瓶頸，支持最大2萬+節(jié)點大集群，還可集群聯(lián)邦無限擴容。此大規(guī)模特性已在華為內(nèi)部獲得了實踐，華為云流程IT通過FusionInsight構(gòu)建OneData大數(shù)據(jù)集群，其規(guī)模已至1萬+節(jié)點，支撐各部門運營分析、即席查詢等大數(shù)據(jù)分析，每日新增數(shù)據(jù)近100TB，10萬張表，即席查詢?nèi)蝿?wù)日均1萬+，批處理作業(yè)每日10萬+。華為流程IT OneData大集群歷經(jīng)兩次滾動升級，業(yè)務(wù)0中斷，已穩(wěn)定運行六年。

快：因數(shù)據(jù)量仍在不斷指數(shù)級增長，人們對大數(shù)據(jù)高效處理的極致追求永無止境!傳統(tǒng)大數(shù)據(jù)存在分析鏈路長，以T+1事后報表為主。華為云FusionInsight MRS可T+0實時增量更新和實時OLAP，讓大數(shù)據(jù)越用越”快“!華為集團IT基于FusionInsight，實現(xiàn)了CDC+FLINK的實時集成方案，支撐了主干交易、財經(jīng)、供應(yīng)等交易數(shù)據(jù)的增量整合模型落地，相對于傳統(tǒng)數(shù)倉的ETL+調(diào)度方案，數(shù)據(jù)供給效率提升了10倍。

融：傳統(tǒng)大數(shù)據(jù)分析面臨類型多、分布散、協(xié)同難等問題;FusionInsight通過HetuEngine實現(xiàn)五大融合，統(tǒng)一SQL接口僅用簡單的SQL就可操作PB級數(shù)據(jù)，全民BI，讓大數(shù)據(jù)越用越簡單。某行基于FusionInsight構(gòu)建金融大數(shù)據(jù)，通過HetuEngine統(tǒng)一SQL接口，解決數(shù)據(jù)分散，組件多、語言多等難題，降低技術(shù)開發(fā)門檻，跨源跨域跨引擎融合分析，數(shù)據(jù)免搬遷，降低整體TCO。

穩(wěn)：FusionInsight可保障一企一湖連續(xù)性，在線滾動升級，業(yè)務(wù)永遠在線，無需拆集群、搬應(yīng)用，徹底解決傳統(tǒng)大數(shù)據(jù)集群多、效率低、管理難、升級難等問題，讓升級過程中關(guān)鍵業(yè)務(wù)不中斷，確保業(yè)務(wù)連續(xù)性。某運營商使用FusionInsight搭建了大數(shù)據(jù)平臺應(yīng)對5G數(shù)據(jù)浪涌，先后兩次滾動升級實現(xiàn)了大數(shù)據(jù)平臺的平滑演進，實現(xiàn)業(yè)務(wù)無中斷，升級無感知，用戶體驗持續(xù)在線，單集群規(guī)模已擴展至1500+節(jié)點，支撐了各類政務(wù)、旅游、精準扶貧等200+大數(shù)據(jù)應(yīng)用服務(wù)，覆蓋用戶1.3億+。

硬核能力之二：實時數(shù)據(jù)湖

為了實現(xiàn)實時性，華為云FusionInsight提出了實時數(shù)據(jù)湖，支持數(shù)據(jù)實時批量入湖、實時增量同步，全量數(shù)據(jù)供應(yīng)效率T+0;可對貼源數(shù)據(jù)實時多維分析，縮短分析鏈路，提高分析效率，讓數(shù)據(jù)價值近在眼前!

硬核能力之三：云原生數(shù)據(jù)湖

近幾年，云原生是云計算領(lǐng)域關(guān)鍵的技術(shù)創(chuàng)新，華為云在云原生領(lǐng)域也探索多年，通過Data Lake Catalog數(shù)據(jù)湖目錄，為超大規(guī)模分析引擎提供統(tǒng)一元數(shù)據(jù)服務(wù)，讓數(shù)據(jù)全局可視可得;在數(shù)據(jù)存儲方面，通過OBS存算分離方案，實現(xiàn)計算、存儲按需擴容，基于企業(yè)級EC實現(xiàn)最低1.2副本，總體TCO下降20%+，讓數(shù)據(jù)每bit成本更優(yōu)!。湖內(nèi)提供交互式分析引擎，可無縫對接BI報表和自助分析，實現(xiàn)秒級用數(shù)，數(shù)據(jù)免搬遷;湖內(nèi)統(tǒng)一SQL接口，降低技術(shù)開發(fā)門檻，簡化用數(shù)，實現(xiàn)技術(shù)領(lǐng)先的云原生數(shù)據(jù)湖。

硬核能力之四：企業(yè)級數(shù)據(jù)倉庫

華為云FusionInsight為客戶提供基于Shared-Nothing架構(gòu)提供新一代開放的、全場景分析型數(shù)據(jù)倉庫DWS，支持2048節(jié)點擴展能力;多層級全并行計算引擎，可調(diào)度海量的算力資源，通過高效的指令效率，實現(xiàn)數(shù)據(jù)導(dǎo)入和分析;具備多層級容災(zāi)能力，穩(wěn)定可靠，離線、半在線、在線擴容技術(shù)，從容應(yīng)對多種擴容場景。

硬核能力之五：一站式數(shù)據(jù)湖治理中心

華為云FusionInsight為客戶提供一站式數(shù)據(jù)湖治理中心，助力企業(yè)快速構(gòu)建從數(shù)據(jù)接入到分析的E2E數(shù)據(jù)治理體系，統(tǒng)一數(shù)據(jù)標準，加速數(shù)據(jù)資產(chǎn)化。通過全域數(shù)據(jù)視圖統(tǒng)一信息架構(gòu)，統(tǒng)一數(shù)據(jù)標準;通過一站式全棧平臺實現(xiàn)30+異構(gòu)數(shù)據(jù)源的高效數(shù)據(jù)集成;擁有開放完備的安全體系，數(shù)據(jù)分級分類，統(tǒng)一安全認證。

通過以上五大“硬核”能力的加持，華為云FusionInsight新一代的數(shù)據(jù)湖，讓大數(shù)據(jù)越用越快、越用越易、越用越穩(wěn)、越用越省!

“一企一湖，一城一湖”的夢想照進現(xiàn)實

隨著“新基建”的提出，智慧城市的不斷深入，5G、AI、IoT等技術(shù)的廣泛應(yīng)用，城市中大數(shù)據(jù)不斷在部門、行業(yè)之間流動成為趨勢，城市中各職能部門和社會企業(yè)的數(shù)據(jù)需要融合分析，從割裂的數(shù)據(jù)孤島，走向“一城一云一湖”。同時，企業(yè)越來越重視利用數(shù)據(jù)驅(qū)動業(yè)務(wù)增長，加速建成“一企一云一湖”。

另一方面，縱觀當今的大數(shù)據(jù)市場，技術(shù)的創(chuàng)新速度領(lǐng)先于市場的需求速度。技術(shù)提供商不斷推出新的產(chǎn)品和新的理念，而行業(yè)用戶卻還在應(yīng)用分析如何入門的門檻上掙扎。技術(shù)提供能力與用戶需求、用戶內(nèi)部業(yè)務(wù)部門與IT部門經(jīng)常存在“脫節(jié)”。為響應(yīng)政企客戶業(yè)務(wù)發(fā)展需要與技術(shù)創(chuàng)新需求，結(jié)合自身用數(shù)經(jīng)驗和十年+行業(yè)積累，是華為云新一代智能數(shù)據(jù)湖FusionInsight應(yīng)運而生的時代背景。

在技術(shù)上持續(xù)創(chuàng)新打磨之外，華為云FusionInsight也是“最懂行”的大數(shù)據(jù)解決方案：

在政府領(lǐng)域，國內(nèi)50%的智慧城市都有華為云FusionInsight的孜孜不倦的身影，華為云大數(shù)據(jù)已支撐多個部委和各省市地區(qū)建設(shè)“大數(shù)據(jù)+政務(wù)”。在某市，華為云FusionInsight聯(lián)合伙伴建成“一云二網(wǎng)三平臺”，在統(tǒng)一的政務(wù)數(shù)據(jù)邏輯模型的指導(dǎo)下，針對民生、產(chǎn)業(yè)、政府的“痛點”和“難點”，從構(gòu)建城市數(shù)據(jù)資源庫為開端，以大數(shù)據(jù)分析支撐政府智慧決策，以建設(shè)智慧應(yīng)用為抓手，打破信息孤島，實現(xiàn)信息資源交換共享，在“數(shù)聚惠民”、“數(shù)聚興業(yè)”、“數(shù)聚善政”三大方面，發(fā)揮大數(shù)據(jù)的威力，支撐“一號、一窗、一網(wǎng)”政務(wù)服務(wù)，讓簡政放權(quán)、百姓辦業(yè)務(wù)“最多跑一次”成為現(xiàn)實。

在金融領(lǐng)域，國內(nèi)50%的TOP20金融客戶(含銀行、證券、保險等)均已使用華為云FusionInsight構(gòu)建其大數(shù)據(jù)平臺。某行使用華為云FusionInsight構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺，支撐了銀行企業(yè)級數(shù)據(jù)湖、數(shù)據(jù)倉庫、集團信息庫為核心的“一湖兩庫”建設(shè)，承載了總行及各支行業(yè)務(wù)系統(tǒng)，支撐日常銀行BI、AI、數(shù)據(jù)挖掘、數(shù)據(jù)分析等，實現(xiàn)了一份數(shù)據(jù)全局可用，免除數(shù)據(jù)搬遷，提升協(xié)同效率10倍，存儲周期提升2倍，資源利用率最大可達90%，加速銀行數(shù)字化轉(zhuǎn)型進程。

在運營商領(lǐng)域，國內(nèi)三大運營商均使用華為云FusionInsight構(gòu)建其大數(shù)據(jù)平臺。廣東移動基于華為云FusionInsight，聯(lián)合政企客戶共同打造智慧電網(wǎng)、智慧交通、智慧港口、高清視頻等系列標桿應(yīng)用，打通數(shù)據(jù)全生命周期鏈路，實現(xiàn)對內(nèi)業(yè)務(wù)支撐、對外應(yīng)用賦能，全面支撐了各類政務(wù)、民生等大數(shù)據(jù)應(yīng)用服務(wù)。

在交通領(lǐng)域，深圳地鐵在6、10號線采用華為云FusionInsight構(gòu)建大數(shù)據(jù)分析平臺，打造領(lǐng)先的5G+大數(shù)據(jù)方案，并構(gòu)建其數(shù)據(jù)資產(chǎn)中心和運行監(jiān)控中心，承載地鐵各業(yè)務(wù)系統(tǒng)，支撐設(shè)備健康、能耗管理、客流統(tǒng)計、線路中心級監(jiān)控、應(yīng)急決策和圖像型火災(zāi)分析等線路級數(shù)據(jù)分析，數(shù)據(jù)分析效率從周級縮短至分鐘級，實現(xiàn)高效運營，推動深圳步入更美好的全聯(lián)接數(shù)字化軌道交通新時代…

除過在以上各行業(yè)的應(yīng)用，在環(huán)境保護方面，青海綠能數(shù)據(jù)有限公司基于華為云FusionInsight構(gòu)建了國內(nèi)首個能源大數(shù)據(jù)創(chuàng)新平臺，實現(xiàn)了規(guī)劃輔助決策、用氣象數(shù)據(jù)科學(xué)指導(dǎo)發(fā)電等創(chuàng)新業(yè)務(wù)，為上下游產(chǎn)業(yè)鏈企業(yè)提供25類47項數(shù)據(jù)服務(wù)，推動28座新能源場站實現(xiàn)了“無人值班、少人值守”，并有效支撐了青?！熬G電15日”，以大數(shù)據(jù)為基石，建設(shè)綠色新青海，守護高原和諧生態(tài)。

同時，華為堅持“自己的降落傘自己先跳”，華為集團IT通過FusionInsight構(gòu)建OneData大數(shù)據(jù)集群，實現(xiàn)大數(shù)據(jù)平臺在大規(guī)模場景下的開拓，OneData集群其規(guī)模已至1萬+節(jié)點;同時，實現(xiàn)了統(tǒng)一的數(shù)據(jù)管理服務(wù)，在菩提海UniDB產(chǎn)品中，通過邏輯統(tǒng)一方式，把50+物理分散的計算集群(Hadoop+MPP)，基于五統(tǒng)一(數(shù)據(jù)安全，元數(shù)據(jù)目錄，數(shù)據(jù)集成，數(shù)據(jù)訪問，任務(wù)調(diào)度)，整合成湖倉一體的架構(gòu)，支撐上千個企業(yè)租戶的PB級數(shù)據(jù)分析處理需求。一個基于FusionInsight MRS+DWS的“+治理，+AI，+運營，+云”的融合數(shù)據(jù)底座(菩提海)已經(jīng)在華為集團IT廣泛使用，未來可期。

以上只是“冰山的一角”，華為云FusionInsight一方面不斷深入理解客戶不斷發(fā)展的業(yè)務(wù)訴求，另一方面，持續(xù)技術(shù)創(chuàng)新并引領(lǐng)行業(yè)發(fā)展，商業(yè)訴求+技術(shù)創(chuàng)新雙輪驅(qū)動行業(yè)可持續(xù)、高質(zhì)量發(fā)展，“用數(shù)”助力客戶商業(yè)成功!上面的論述已經(jīng)充分證明，華為云是“懂行”的大數(shù)據(jù)領(lǐng)導(dǎo)者，真正讓客戶用好數(shù)、管好數(shù)、放心用。

據(jù)了解，截至2020年10月底，華為云FusionInsight智能數(shù)據(jù)湖已服務(wù)60+個國家和地區(qū)，3,000+客戶，覆蓋政府、金融、運營商、電力、傳媒、醫(yī)療、教育、交通、油氣、物流、零售、制造、互聯(lián)網(wǎng)等行業(yè)。

寫在最后

在萬物互聯(lián)的新時代，數(shù)字化轉(zhuǎn)型進入到“深水區(qū)”的當下，越來越多的政企意識到“得數(shù)據(jù)者得天下”的真諦。如果把“數(shù)據(jù)”比喻成油田，那么如何“開采”讓其充分發(fā)揮價值，讓數(shù)據(jù)分析更簡單？考驗的不僅是大數(shù)據(jù)服務(wù)商的技術(shù)創(chuàng)新能力，還要深刻洞察不同行業(yè)的數(shù)據(jù)需求差異?？梢钥隙ǖ氖?，華為云FusionInsight智能數(shù)據(jù)湖還將持續(xù)進化，助力千行百業(yè)釋放出更大的數(shù)據(jù)價值。