打造數(shù)據(jù)驅(qū)動(dòng)型企業(yè)｜基于數(shù)據(jù)文化打造現(xiàn)代化數(shù)據(jù)組織

您現(xiàn)在正在閱讀的是亞馬遜云科技的系列文章《打造數(shù)據(jù)驅(qū)動(dòng)型企業(yè)》，我們將會(huì)從戰(zhàn)略思維，流程設(shè)計(jì)，數(shù)據(jù)文化與思考習(xí)慣，技術(shù)實(shí)現(xiàn)路徑與最佳案例等多個(gè)方面向您闡述，“數(shù)據(jù)”作為新商業(yè)模式下最重要的生產(chǎn)資料，到底是如何改變了我們工作生活的方方面面。同時(shí)，也能幫助您思考未來自己的工作與商業(yè)世界的邏輯。

一個(gè)數(shù)據(jù)驅(qū)動(dòng)型企業(yè)需要一個(gè)“數(shù)據(jù)驅(qū)動(dòng)價(jià)值”的思維模式：文化、組織、機(jī)制與執(zhí)行。

圖1：基于思維模式進(jìn)行的數(shù)據(jù)驅(qū)動(dòng)決策

上一篇文章中，我們闡述了數(shù)據(jù)驅(qū)動(dòng)型企業(yè)的概念，接下來我們將逐步闡述構(gòu)建數(shù)據(jù)驅(qū)動(dòng)型企業(yè)的指導(dǎo)原則：文化、組織、機(jī)制與執(zhí)行。

圖2：數(shù)據(jù)驅(qū)動(dòng)的構(gòu)建

“數(shù)據(jù)文化”構(gòu)筑企業(yè)數(shù)據(jù)思維模式，是實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)型組織的基礎(chǔ)。

文化的第一步是用事實(shí)取代感覺，在企業(yè)內(nèi)部的討論與交流中，避免描述，而是用事實(shí)。由于企業(yè)中的個(gè)體存在差異，每個(gè)人對(duì)于描述性的用詞，感受是不一樣的，這容易造成信息在傳遞過程中的不確定性，為了對(duì)抗這種不確定性，數(shù)據(jù)驅(qū)動(dòng)型企業(yè)需要學(xué)會(huì)“用事實(shí)說話”。

文化的第二步:與企業(yè)愿景(Vision)結(jié)合，自由地采取行動(dòng)，但行動(dòng)前確認(rèn)決策是否可逆。當(dāng)我們用數(shù)據(jù)進(jìn)行決策，后續(xù)的行動(dòng)會(huì)帶來持續(xù)的影響，且這些影響是（近乎）不可逆的，就像一扇單向門一旦你邁過了這扇單向門，就算發(fā)現(xiàn)不喜歡自己在門的另一頭看到的事情，也沒法再回到之前的地方?？焖?zèng)Q策的關(guān)鍵是借助當(dāng)前的數(shù)據(jù)事實(shí)，找到“雙向門”決策，并堅(jiān)定執(zhí)行。

數(shù)據(jù)驅(qū)動(dòng)型組織，以“敏捷”為方略進(jìn)行組織設(shè)計(jì)：

將舊的組織模式應(yīng)用于現(xiàn)代云技術(shù)是沒有必要的，也不能讓公司實(shí)現(xiàn)他們所期望的結(jié)果和靈活性。我們需要一個(gè)能夠在邊緣實(shí)現(xiàn)靈活性和責(zé)任的運(yùn)營模式，通過數(shù)據(jù)市場或數(shù)據(jù)網(wǎng)格（“DataMesh”）連接起來，打造一個(gè)現(xiàn)代數(shù)據(jù)社區(qū)。

就像企業(yè)發(fā)現(xiàn)了單體IT架構(gòu)向微服務(wù)架構(gòu)遷移的好處一樣，現(xiàn)代數(shù)據(jù)組織代表了從單體數(shù)據(jù)架構(gòu)到責(zé)任分離的組織文化轉(zhuǎn)變。該模式不是由單一組織（通常是IT）負(fù)責(zé)數(shù)據(jù)攝取、數(shù)據(jù)質(zhì)量、平臺(tái)管理和洞察構(gòu)建，而是在組織內(nèi)部細(xì)化責(zé)任，從而提高自主性、責(zé)任感和速度。它是一個(gè)由專業(yè)且有自主權(quán)的小型（“雙比薩”）團(tuán)隊(duì)組成的社區(qū)，具有使命感，通過不斷改進(jìn)使團(tuán)隊(duì)以前所未有的速度交付工作成果?，F(xiàn)代數(shù)據(jù)社區(qū)由三個(gè)角色組成：（1）生產(chǎn)者；（2）平臺(tái)；（3）使用者。

數(shù)據(jù)消費(fèi)者

是那些想要分享數(shù)據(jù)的團(tuán)隊(duì)。他們是領(lǐng)域?qū)＜遥ǔＥc上游業(yè)務(wù)和應(yīng)用程序團(tuán)隊(duì)保持一致。有關(guān)數(shù)據(jù)管理、產(chǎn)品所有權(quán)和數(shù)據(jù)治理的決策很大程度上取決于這些團(tuán)隊(duì)。他們對(duì)數(shù)據(jù)質(zhì)量和業(yè)務(wù)元數(shù)據(jù)有最深刻的理解。

亞馬遜的經(jīng)驗(yàn)表明，讓數(shù)據(jù)生產(chǎn)者承擔(dān)這種責(zé)任是很有好處的。擁有高質(zhì)量和可靠數(shù)據(jù)的生產(chǎn)者的影響力越來越大，這種受歡迎程度推動(dòng)了積極反饋循環(huán)，吸引了更多用戶。由可發(fā)現(xiàn)的優(yōu)質(zhì)數(shù)據(jù)驅(qū)動(dòng)實(shí)驗(yàn)，其中數(shù)據(jù)以以前沒有被生產(chǎn)者考慮到的方式結(jié)合在一起。這種方式產(chǎn)生了巨大優(yōu)勢，使得數(shù)據(jù)成為橫跨內(nèi)部功能的“結(jié)締組織”，創(chuàng)建新的域內(nèi)模型，而不是與組織的“孤島”綁定。我們把這種結(jié)締組織稱為“數(shù)據(jù)契約”——數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)使用者之間的協(xié)議。這份契約確保用戶對(duì)數(shù)據(jù)質(zhì)量、頻率、業(yè)務(wù)使用和SLA服務(wù)周期終止設(shè)置合理預(yù)期。這種契約是不可變的，這意味著一旦生產(chǎn)者提交了一份契約，那么只能通過訂立一份新合同來進(jìn)行修改。

傳統(tǒng)上，創(chuàng)建和維護(hù)重要數(shù)據(jù)契約歷來非常復(fù)雜，但是使用機(jī)器學(xué)習(xí)技術(shù)大大減少了這方面的工作。數(shù)據(jù)剖析使數(shù)據(jù)管理員能夠制定數(shù)據(jù)質(zhì)量規(guī)則，現(xiàn)在可以大規(guī)模識(shí)別個(gè)人可識(shí)別信息（PII），而分類有助于標(biāo)記數(shù)據(jù)進(jìn)而便于查找。這樣可以實(shí)現(xiàn)規(guī)?；芾硎跈?quán)，保證卓越的安全性和審計(jì)能力。

伴隨著實(shí)驗(yàn)和創(chuàng)新，生產(chǎn)者進(jìn)一步從數(shù)據(jù)中變現(xiàn)，為企業(yè)和生產(chǎn)者自身創(chuàng)造價(jià)值。

數(shù)據(jù)平臺(tái)

是負(fù)責(zé)“數(shù)據(jù)市場（Data Market Place)”運(yùn)作的團(tuán)隊(duì)，屬于實(shí)現(xiàn)數(shù)據(jù)社區(qū)的技術(shù)人員。

在亞馬遜公司，自2017年以來，我們特意使用了“集市”（marketplace）這個(gè)詞。我們認(rèn)為，數(shù)據(jù)是具有內(nèi)在價(jià)值的生產(chǎn)資料，最成功的“數(shù)據(jù)集市”擁有一系列豐富的數(shù)據(jù)產(chǎn)品，值得信賴，而且為生產(chǎn)者和使用者提供令人愉悅的體驗(yàn)。平臺(tái)團(tuán)隊(duì)通常規(guī)模較小，充分利用云計(jì)算的能力，實(shí)現(xiàn)簡單的新數(shù)據(jù)連通、輕松瀏覽，產(chǎn)品比較、可靠性、耐用性、可擴(kuò)展性、極其安全的交易以及輕松購買等特點(diǎn)。平臺(tái)團(tuán)隊(duì)從傳統(tǒng)的監(jiān)控、維護(hù)和打補(bǔ)丁的運(yùn)營任務(wù)轉(zhuǎn)到確保平臺(tái)滿足業(yè)務(wù)需求和支持社區(qū)創(chuàng)新的增值活動(dòng)。平臺(tái)團(tuán)隊(duì)不再是創(chuàng)新的瓶頸，而是創(chuàng)新的推動(dòng)者。

Netflix等客戶已經(jīng)證明了數(shù)據(jù)平臺(tái)的強(qiáng)大力量，每天管理7000多億個(gè)事件，支持?jǐn)?shù)據(jù)發(fā)現(xiàn)文化，并向更廣泛的社區(qū)開放工程化解決方案。

數(shù)據(jù)生產(chǎn)者

是想要使用數(shù)據(jù)的個(gè)人、團(tuán)隊(duì)和機(jī)器，構(gòu)成了一個(gè)多樣化群體，包括業(yè)務(wù)分析師、數(shù)據(jù)工程師、軟件工程師和數(shù)據(jù)科學(xué)家。與數(shù)據(jù)生產(chǎn)者類似，使用者并沒有被整合到單一的IT組織中，而是成分散狀態(tài)，分布到各自的業(yè)務(wù)領(lǐng)域。他們熟悉業(yè)務(wù)才能了解業(yè)務(wù)重點(diǎn)，并能夠驗(yàn)證業(yè)務(wù)假設(shè)。數(shù)據(jù)使用者希望最大限度地減少搜索數(shù)據(jù)、請(qǐng)求訪問和測試數(shù)據(jù)質(zhì)量等非增值活動(dòng)的時(shí)間，快速使用他們選擇的工具去搜索和發(fā)現(xiàn)數(shù)據(jù)、了解數(shù)據(jù)質(zhì)量、構(gòu)建信任、訂閱數(shù)據(jù)以及開展分析服務(wù)。

納斯達(dá)克就是這樣一家客戶，納斯達(dá)克股票交易所是全球交易量最大的股權(quán)特許經(jīng)營商，其管理高數(shù)量和高速度的買家和賣家匹配，同時(shí)在以電子方式進(jìn)行的貿(mào)易中提供支持股票報(bào)價(jià)的數(shù)據(jù)。他們將把來自內(nèi)部運(yùn)營的交易所的所有數(shù)據(jù)都放到Amazon S3數(shù)據(jù)湖和Amazon Redshift Spectrum中。其中包括訂單、取消、報(bào)價(jià)和交易。這些數(shù)據(jù)轉(zhuǎn)變?yōu)橄⒉⒃贏mazon S3中歸檔，并將消息推動(dòng)下游計(jì)費(fèi)和報(bào)告監(jiān)督流程。

總結(jié)：

本篇文章我們聊到了數(shù)據(jù)驅(qū)動(dòng)型組織需要考慮的數(shù)據(jù)文化與數(shù)據(jù)組織，數(shù)據(jù)文化強(qiáng)調(diào)基于事實(shí)進(jìn)行敏捷決策，自由行動(dòng)，不迎合內(nèi)部范疇。數(shù)據(jù)組織中需要明確數(shù)據(jù)生產(chǎn)者與消費(fèi)者，并利用數(shù)據(jù)平臺(tái)作為中間載體。

在下一篇文章中我們將會(huì)展開數(shù)據(jù)驅(qū)動(dòng)企業(yè)的機(jī)制搭建與執(zhí)行方法。希望大家繼續(xù)關(guān)注亞馬遜云科技的系列文章《打造數(shù)據(jù)驅(qū)動(dòng)型企業(yè)》！

引用列表：

1.Slater,Dan(2020).Elements of Amazon’s Day 1 Culture.Available at:https://aws.amazon.

com/executive-insights/content/how-amazon-defines-and-operationalizes-a-day-1-culture/

2.Cagan,Marty(2018).Inspired.How to create tech products customers love.John Wiley&Sons;2nd edition.

3.AWS(2018).AWS re:Invent 2018:How Amazon Uses AWS Services for Analytics at a Massive Scale(ANT206).Available online at:

4.https://www.youtube.com/watch?v=PitJL9vOotc

5.Serverless Data Quality with Deequ on Glue:https://github.com/aws-samples/amazon-deequ-glue