華為云 BigDataPro 大數(shù)據(jù)離線分析解決方案

在數(shù)字化轉(zhuǎn)型過(guò)程中，如何激活數(shù)據(jù)要素潛力，推動(dòng)網(wǎng)絡(luò)強(qiáng)國(guó)建設(shè)，加速構(gòu)建數(shù)字經(jīng)濟(jì)、數(shù)字社會(huì)、數(shù)字政府，推動(dòng)整個(gè)生產(chǎn)方式、生活方式和治理方式的變革，是數(shù)字中國(guó)面臨的最大挑戰(zhàn)。而且，推進(jìn)數(shù)據(jù)要素價(jià)值轉(zhuǎn)換當(dāng)然離不開(kāi)云原生數(shù)據(jù)基礎(chǔ)設(shè)施的支持。其中，以存算分離、支持多協(xié)議彈性文件存儲(chǔ)、高效的數(shù)據(jù)計(jì)算技術(shù)為代表，新技術(shù)的應(yīng)用將幫助不同行業(yè)的企業(yè)用戶最大程度地釋放數(shù)據(jù)價(jià)值。

存儲(chǔ)分離釋放無(wú)限數(shù)。

大數(shù)據(jù)技術(shù)最初以計(jì)算機(jī)和存儲(chǔ)包的形式出現(xiàn)，強(qiáng)調(diào)數(shù)據(jù)接近計(jì)算，以HDFS+MapReduce數(shù)據(jù)管理方式為核心的技術(shù)，目前，大數(shù)據(jù)技術(shù)有了進(jìn)一步的發(fā)布，計(jì)算機(jī)、存儲(chǔ)包和存儲(chǔ)包向存算分離設(shè)計(jì)方向發(fā)展，使得Hive,HBase等大數(shù)據(jù)應(yīng)用迎來(lái)新的發(fā)展機(jī)遇。

結(jié)合華為云BigDataPro大數(shù)據(jù)離線分析解決方案，獨(dú)立擴(kuò)展存儲(chǔ)，從而減少了不必要的資源浪費(fèi)。華為云BigDataPro通過(guò)對(duì)存儲(chǔ)進(jìn)行擴(kuò)展，消除了對(duì)保留容量的浪費(fèi)，多種協(xié)議支持也減少了數(shù)據(jù)重復(fù)重復(fù)現(xiàn)象。獨(dú)立的存算、分布式存儲(chǔ)跨可用區(qū)容災(zāi)，使數(shù)據(jù)的持久性提高到12個(gè)9，數(shù)據(jù)的可靠性更加可靠。

這一完全相反的變化，從數(shù)據(jù)接近計(jì)算到今天的存算分離，難道大家也會(huì)覺(jué)得奇怪嗎？故事情節(jié)“顛倒”的主要原因是什么？

抑或，存算分離是否仍能滿足接近數(shù)據(jù)計(jì)算的需求？

因此，我還向華為咨詢了云計(jì)算存儲(chǔ)服務(wù)總經(jīng)理崔林威。

樸茨茅斯表示：存算分離仍能滿足類似近數(shù)據(jù)計(jì)算的需要，其中最大的原因就是網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，這為存算分離奠定了基礎(chǔ)。不管是接近數(shù)據(jù)的計(jì)算，或者存算分離都不會(huì)改變上層HDFS+MapReduce的結(jié)構(gòu)。華為云BigDataPro相較于傳統(tǒng)方式，在存儲(chǔ)隔離的基礎(chǔ)上，提供了多協(xié)議互通、高可靠性等優(yōu)點(diǎn)。

突破傳統(tǒng)協(xié)議限制的多彈性文件存儲(chǔ)器。

SFS(ScalableFileService)是一個(gè)彈性的文件服務(wù)，它不僅能提供大數(shù)據(jù)、文件接口、如為云中MRS,DLI等數(shù)據(jù)分析服務(wù)提供存儲(chǔ)服務(wù)，通過(guò)NFS/CIFS協(xié)議或POSIX客戶機(jī)部署在云中的視頻編輯、基因分析、儲(chǔ)層模擬、提供數(shù)據(jù)設(shè)計(jì)模擬等軟件。

「可將資料解讀為一瓶礦泉水，跨協(xié)議查訪亦可理解數(shù)數(shù)。」崔林威說(shuō)。

SFS是國(guó)內(nèi)第一家支持NFS/CIFS/對(duì)象/大數(shù)據(jù)等多協(xié)議接口的存儲(chǔ)服務(wù)。它是一個(gè)高性能文件存儲(chǔ)(NAS)，用于基因分析、視頻制作/繪制、地球物理、文件共享、業(yè)務(wù)場(chǎng)景，如內(nèi)容和Web服務(wù)，提供共享的數(shù)據(jù)訪問(wèn)存儲(chǔ)服務(wù)。SFS突破了傳統(tǒng)NAS只有私有數(shù)據(jù)存儲(chǔ)協(xié)議的限制。

舉例來(lái)說(shuō)，在視頻制作/渲染場(chǎng)景中，華為云和MangTV正在探索一種成本更低、更具實(shí)用性的播放計(jì)劃，以創(chuàng)建業(yè)界第一個(gè)基于云服務(wù)的4K綜藝節(jié)目——“MangoTV”。

由于SFS混合云解決方案可以兼容對(duì)象接口特性，通過(guò)對(duì)象存儲(chǔ)直接將攝像視頻上傳到華為云，在云上通過(guò)文件接口對(duì)視頻進(jìn)行轉(zhuǎn)碼、合成、調(diào)色、等一系列處理后，直接通過(guò)對(duì)象存儲(chǔ)器播放。與自行構(gòu)建IT系統(tǒng)相比，節(jié)目制作時(shí)間減少了50%，按需付費(fèi)云資源可以節(jié)約90%的初期投資。身為電視觀眾的她，能看到妹妹們清晰的服裝細(xì)節(jié)和每一條睫毛，讓影片的質(zhì)感得以在對(duì)周期要求高、成本控制嚴(yán)格的綜藝節(jié)目中呈現(xiàn)。