Data Fabric：到底是什么，應(yīng)該怎么做

企業(yè)的數(shù)據(jù)之痛

企業(yè)的數(shù)據(jù)之痛源?于企業(yè)的數(shù)據(jù)處理能?和數(shù)據(jù)增?速度的不匹配。根據(jù)知名分析機(jī)構(gòu)的估算，企業(yè)內(nèi)部有接近四分之三的數(shù)據(jù)處于閑置的狀態(tài)，僅僅只有四分之?的數(shù)據(jù)?于輔助企業(yè)決策。所以當(dāng)談到數(shù)據(jù)之痛的時(shí)候，我們發(fā)現(xiàn)數(shù)據(jù)之痛不是企業(yè)缺乏數(shù)據(jù)，?是缺乏“好”數(shù)據(jù)-和商業(yè)決策和業(yè)務(wù)?動(dòng)化強(qiáng)相關(guān)的清潔數(shù)據(jù)。

隨著企業(yè)數(shù)字化進(jìn)程的加速和云計(jì)算的普及，企業(yè)數(shù)據(jù)呈現(xiàn)了三?新趨勢(shì)。

01

數(shù)據(jù)分布呈現(xiàn)多元的趨勢(shì)。隨著?態(tài)系統(tǒng)的發(fā)展，數(shù)據(jù)孤島問題會(huì)?益加劇。

02

數(shù)據(jù)量將持續(xù)增?。分析機(jī)構(gòu)預(yù)測(cè)顯示，在未來3年內(nèi)企業(yè)的數(shù)據(jù)將增?6倍。

03

數(shù)據(jù)保質(zhì)期的縮短。數(shù)據(jù)如果不被快速使?，很快就會(huì)失去意義。

從上述趨勢(shì)可以看出，企業(yè)如果仍然通過??的?式進(jìn)?數(shù)據(jù)遷移和集中，耗時(shí)多代價(jià)?，?法發(fā)揮數(shù)據(jù)的效?和價(jià)值。?如，由于數(shù)據(jù)的陳舊，?產(chǎn)側(cè)的計(jì)劃和庫(kù)存與銷售脫鉤，造成了滯銷，給企業(yè)帶來巨?損失。再?如，產(chǎn)品設(shè)計(jì)和?戶習(xí)慣不符，產(chǎn)品逐漸被競(jìng)爭(zhēng)對(duì)?取代，市場(chǎng)份額進(jìn)?步萎縮。甚?某些情況下，企業(yè)還要承擔(dān)?定程度的法律?險(xiǎn)，例如，通過局部數(shù)據(jù)訓(xùn)練出來的模型，可能對(duì)某?類型的?總是產(chǎn)?負(fù)?的判斷，這樣公平性問題可能招致訴訟?？偟膩碚f，企業(yè)如果不提升數(shù)據(jù)處理的能?解決數(shù)據(jù)浪費(fèi)的問題，企業(yè)的未來發(fā)展是令?憂慮的。

企業(yè)要解決數(shù)據(jù)處理的速度，往往在兩個(gè)?案間搖擺。我們稱為“數(shù)據(jù)連接”和“數(shù)據(jù)集中”的困境。

?個(gè)?案是將數(shù)據(jù)孤島進(jìn)?全連接，每個(gè)數(shù)據(jù)集都和其他數(shù)據(jù)集相連。?家可以想象，在這種模式下，每增加?個(gè)新的數(shù)據(jù)源的時(shí)候，復(fù)雜度都會(huì)成倍的增?。在應(yīng)?創(chuàng)新和混合多云的趨勢(shì)下，全連接的代價(jià)?常?昂。同時(shí)，數(shù)據(jù)安全性也存在問題。?前的數(shù)據(jù)訪問控制是由各個(gè)數(shù)據(jù)源單獨(dú)進(jìn)?的，當(dāng)全連接之后數(shù)據(jù)訪問的規(guī)則可能會(huì)被破壞，數(shù)據(jù)泄露將成為企業(yè)的隱患。

另?個(gè)?案就是進(jìn)?數(shù)據(jù)?集中。雖然這解決了點(diǎn)對(duì)點(diǎn)?法的規(guī)模增?的問題，但它帶來了額外的成本和復(fù)雜度。?如，隨著時(shí)間的推移，復(fù)制、存儲(chǔ)和同步數(shù)據(jù)的時(shí)間成本和技術(shù)成本成?例增加，很快就變得混亂不堪?法管理。同時(shí)，數(shù)據(jù)集中也不能解決數(shù)據(jù)保護(hù)問題，區(qū)域性的數(shù)據(jù)規(guī)則是不允許??的數(shù)據(jù)在限定區(qū)域之外進(jìn)?匯總的。

最后，“數(shù)據(jù)上云”也加劇了這個(gè)困境，?論是連接還是整合，都需要?量的數(shù)據(jù)提取，?公有云供應(yīng)商對(duì)于數(shù)據(jù)提取都是進(jìn)?收費(fèi)的。從成本考慮，數(shù)據(jù)上云之后是否能夠真正加速企業(yè)的數(shù)據(jù)到業(yè)務(wù)價(jià)值的轉(zhuǎn)化，是值得商榷的。

什么是Data Fabric？

那么，我們?nèi)绾尾拍芙鉀Q這?困境呢？有沒有?種新的技術(shù)，?種靈活的解決?案可以實(shí)現(xiàn)下列?標(biāo)呢？

01

消除數(shù)據(jù)孤島，并且輕松擴(kuò)展，以處理不斷增?的數(shù)據(jù)量。

02

能夠跨越企業(yè)內(nèi)部，混合多云環(huán)境訪問數(shù)據(jù)，集中協(xié)調(diào)企業(yè)內(nèi)部的數(shù)據(jù)流轉(zhuǎn)。

03

可以處理各種數(shù)據(jù)類型，使得IT和業(yè)務(wù)保持?致。

04

提供數(shù)據(jù)?主化，賦能業(yè)務(wù)?員。

能夠?qū)崿F(xiàn)上述?標(biāo)的技術(shù)，我們稱之為Data Fabric。

Data Fabric不是?個(gè)單?的產(chǎn)品，甚?不是?個(gè)單?的平臺(tái)。準(zhǔn)確地說，Data Fabric是?個(gè)新興的數(shù)據(jù)管理理念和現(xiàn)代化的分布式的數(shù)據(jù)架構(gòu)，包括共享數(shù)據(jù)資產(chǎn)、優(yōu)化數(shù)據(jù)管理、整合數(shù)據(jù)流程等等。實(shí)施Data Fabric也不?定需要替換現(xiàn)有的技術(shù)。Data Fabric可以將您現(xiàn)在的技術(shù)納?數(shù)據(jù)?態(tài)系統(tǒng)中。

企業(yè)如何實(shí)現(xiàn)Data Fabric呢？IBM提出了Data Fabric的落地實(shí)踐。

01

通過虛擬連接數(shù)據(jù)端點(diǎn)和簡(jiǎn)化對(duì)任何數(shù)據(jù)的訪問模式，幫助減少數(shù)據(jù)拷?的數(shù)量。

02

提供全球?動(dòng)策略執(zhí)?，以提?數(shù)據(jù)保護(hù)和質(zhì)量。

03

利?整合治理和主動(dòng)元數(shù)據(jù)的增強(qiáng)，實(shí)現(xiàn)動(dòng)態(tài)、智能和?動(dòng)化的數(shù)據(jù)協(xié)調(diào)。

04

使?知識(shí)圖譜，提供?動(dòng)化的數(shù)據(jù)發(fā)現(xiàn)和語義識(shí)別。

在IBM實(shí)現(xiàn)Data Fabric的平臺(tái)中，包含以下重要的組件。

01

智能化的數(shù)據(jù)?錄(Auto Cataglog)發(fā)現(xiàn)、編?、集中不同來源的現(xiàn)有數(shù)據(jù)，創(chuàng)建相關(guān)數(shù)據(jù)的知識(shí)圖譜。

02

從新的SaaS應(yīng)?中快速加?新數(shù)據(jù)，這些數(shù)據(jù)以開放、敏捷的格式存儲(chǔ)在不同的云數(shù)據(jù)倉(cāng)庫(kù)中，可以通過數(shù)據(jù)?錄進(jìn)?理解和編?。

03

?動(dòng)化的數(shù)據(jù)隱私(Auto Privacy)為任意位置的數(shù)據(jù)資產(chǎn)創(chuàng)建并執(zhí)?隱私保護(hù)和使?控制。

04

虛擬數(shù)據(jù)訪問(Virtual Data Access)實(shí)現(xiàn)了對(duì)數(shù)據(jù)?錄中發(fā)現(xiàn)的分布式數(shù)據(jù)的實(shí)時(shí)虛擬數(shù)據(jù)訪問，并通過?動(dòng)數(shù)據(jù)隱私進(jìn)?隱私控制。

05

?戶通過虛擬數(shù)據(jù)訪問，使?相應(yīng)的BI?具訪問實(shí)時(shí)可信的數(shù)據(jù)。

06

AutoAI可以消費(fèi)虛擬數(shù)據(jù)，以加速數(shù)據(jù)科學(xué)的進(jìn)程。

Data Fabric不是點(diǎn)對(duì)點(diǎn)的連接或單?樞紐式的數(shù)據(jù)收集，?是在不同/混合數(shù)據(jù)源之間“跨越”?個(gè)虛擬或邏輯?絡(luò)。第?關(guān)鍵詞是分布式。數(shù)據(jù)?錄是Data Fabric的?腦，控制分布式的數(shù)據(jù)源進(jìn)?參與和協(xié)調(diào)。因?yàn)閿?shù)據(jù)可以由不同的主責(zé)部?或業(yè)務(wù)部?管理，數(shù)據(jù)?錄可以是分布式的。另外?個(gè)關(guān)鍵詞是?動(dòng)化，Data Fabric不僅應(yīng)該對(duì)數(shù)據(jù)的交付?度?動(dòng)化，?且對(duì)消費(fèi)者可?的數(shù)據(jù)提供?動(dòng)化。最后，除了數(shù)據(jù)??提升?動(dòng)化，?錄本身也必須?度?動(dòng)化。任何任務(wù)，如數(shù)據(jù)發(fā)現(xiàn)、編?、語義充實(shí)和資產(chǎn)映射，都應(yīng)該在最?的?機(jī)互動(dòng)下完成。

Data Fabric是?痛?還是維?素？

Data Fabric是為客戶打造“?痛藥”還是“維?素”？讓我們從客戶的?度來審視這項(xiàng)新的技術(shù)。

?先，對(duì)于您的技術(shù)團(tuán)隊(duì)來說，與更傳統(tǒng)的數(shù)據(jù)管理架構(gòu)相?，Data Fabric提供了顯著的流程簡(jiǎn)化和成本降低。

Data Fabric本身是基于?個(gè)虛擬化的環(huán)境，這意味著盡管Data Fabric的規(guī)模可以很?，但在同?個(gè)環(huán)境中管理，并且內(nèi)置的?動(dòng)化使得數(shù)據(jù)交付過程明顯簡(jiǎn)化。?如，由于數(shù)據(jù)版本較少，維護(hù)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的?作量減少了。?如，合并數(shù)據(jù)管理?具以及減少不需要的數(shù)據(jù)拷?，降低了數(shù)據(jù)設(shè)施和存儲(chǔ)成本。再?如全局的數(shù)據(jù)策略，??節(jié)省了數(shù)據(jù)權(quán)限管理所需要的時(shí)間。

對(duì)于商業(yè)?戶來說，Data Fabric可以更快地獲得準(zhǔn)確的數(shù)據(jù)，減少與數(shù)據(jù)打交道的時(shí)間，并且能夠通過標(biāo)準(zhǔn)化的接?將數(shù)據(jù)快速整合到商業(yè)?戶的BI分析中。商業(yè)?戶能夠把精?聚焦到數(shù)據(jù)分析，?不是?助地不斷尋找和準(zhǔn)備數(shù)據(jù)。同時(shí)，可以享受到全?助式數(shù)據(jù)購(gòu)物體驗(yàn)，不需要為了等待數(shù)據(jù)浪費(fèi)時(shí)間。同時(shí)，全?充分的分析技術(shù)，也提?了分析結(jié)果的合規(guī)性和安全性。

綜上所述，Data Fabric是客戶的?劑良藥，幫助客戶擺脫?久以來的數(shù)據(jù)痛點(diǎn)。

實(shí)施路線圖

Data Fabric是混合云數(shù)據(jù)環(huán)境中實(shí)現(xiàn)?度?動(dòng)化的數(shù)據(jù)發(fā)現(xiàn)、治理、保護(hù)和消費(fèi)。建?Data Fabric并不是購(gòu)買和部署單?的解決?案，它也不是?蹴?就的，?是?個(gè)過程。在這個(gè)過程?致分為如下?個(gè)階段，每個(gè)階段中所需組件按序就位。

第?階段

盤點(diǎn)數(shù)據(jù)。明確企業(yè)的重要數(shù)據(jù)源，按照數(shù)據(jù)的類型，存儲(chǔ)位置，數(shù)據(jù)規(guī)模，更新頻率，時(shí)效性等等要素，決定數(shù)據(jù)的接??式。

第三階段

治理數(shù)據(jù)。定期檢視數(shù)據(jù)質(zhì)量，管理數(shù)據(jù)隱私，控制數(shù)據(jù)訪問，建?數(shù)據(jù)治理流程和主責(zé)部?，建?數(shù)據(jù)接?，治理和消費(fèi)的KPI以及公告板。

第?階段

編?數(shù)據(jù)。編?數(shù)據(jù)是進(jìn)?數(shù)據(jù)?服務(wù)的關(guān)鍵步驟，找到和業(yè)務(wù)需求強(qiáng)關(guān)聯(lián)的數(shù)據(jù)才能實(shí)際上解決業(yè)務(wù)問題。

第四階段

消費(fèi)數(shù)據(jù)。通過可視化?具，數(shù)據(jù)科學(xué)開發(fā)平臺(tái)進(jìn)?數(shù)據(jù)消費(fèi)，衡量數(shù)據(jù)在業(yè)務(wù)流程中的價(jià)值，對(duì)之前階段的數(shù)據(jù)進(jìn)?反饋。