打造數(shù)據(jù)驅(qū)動型企業(yè)｜基于數(shù)據(jù)文化打造現(xiàn)代化數(shù)據(jù)組織

您現(xiàn)在正在閱讀的是亞馬遜云科技的系列文章《打造數(shù)據(jù)驅(qū)動型企業(yè)》，我們將會從戰(zhàn)略思維，流程設計，數(shù)據(jù)文化與思考習慣，技術實現(xiàn)路徑與最佳案例等多個方面向您闡述，“數(shù)據(jù)”作為新商業(yè)模式下最重要的生產(chǎn)資料，到底是如何改變了我們工作生活的方方面面。同時，也能幫助您思考未來自己的工作與商業(yè)世界的邏輯。

一個數(shù)據(jù)驅(qū)動型企業(yè)需要一個“數(shù)據(jù)驅(qū)動價值”的思維模式：文化、組織、機制與執(zhí)行。

圖1：基于思維模式進行的數(shù)據(jù)驅(qū)動決策

上一篇文章中，我們闡述了數(shù)據(jù)驅(qū)動型企業(yè)的概念，接下來我們將逐步闡述構(gòu)建數(shù)據(jù)驅(qū)動型企業(yè)的指導原則：文化、組織、機制與執(zhí)行。

圖2：數(shù)據(jù)驅(qū)動的構(gòu)建

“數(shù)據(jù)文化”構(gòu)筑企業(yè)數(shù)據(jù)思維模式，是實現(xiàn)數(shù)據(jù)驅(qū)動型組織的基礎。

文化的第一步是用事實取代感覺，在企業(yè)內(nèi)部的討論與交流中，避免描述，而是用事實。由于企業(yè)中的個體存在差異，每個人對于描述性的用詞，感受是不一樣的，這容易造成信息在傳遞過程中的不確定性，為了對抗這種不確定性，數(shù)據(jù)驅(qū)動型企業(yè)需要學會“用事實說話”。

文化的第二步:與企業(yè)愿景(Vision)結(jié)合，自由地采取行動，但行動前確認決策是否可逆。當我們用數(shù)據(jù)進行決策，后續(xù)的行動會帶來持續(xù)的影響，且這些影響是（近乎）不可逆的，就像一扇單向門一旦你邁過了這扇單向門，就算發(fā)現(xiàn)不喜歡自己在門的另一頭看到的事情，也沒法再回到之前的地方?？焖贈Q策的關鍵是借助當前的數(shù)據(jù)事實，找到“雙向門”決策，并堅定執(zhí)行。

數(shù)據(jù)驅(qū)動型組織，以“敏捷”為方略進行組織設計：

將舊的組織模式應用于現(xiàn)代云技術是沒有必要的，也不能讓公司實現(xiàn)他們所期望的結(jié)果和靈活性。我們需要一個能夠在邊緣實現(xiàn)靈活性和責任的運營模式，通過數(shù)據(jù)市場或數(shù)據(jù)網(wǎng)格（“DataMesh”）連接起來，打造一個現(xiàn)代數(shù)據(jù)社區(qū)。

就像企業(yè)發(fā)現(xiàn)了單體IT架構(gòu)向微服務架構(gòu)遷移的好處一樣，現(xiàn)代數(shù)據(jù)組織代表了從單體數(shù)據(jù)架構(gòu)到責任分離的組織文化轉(zhuǎn)變。該模式不是由單一組織（通常是IT）負責數(shù)據(jù)攝取、數(shù)據(jù)質(zhì)量、平臺管理和洞察構(gòu)建，而是在組織內(nèi)部細化責任，從而提高自主性、責任感和速度。它是一個由專業(yè)且有自主權(quán)的小型（“雙比薩”）團隊組成的社區(qū)，具有使命感，通過不斷改進使團隊以前所未有的速度交付工作成果。現(xiàn)代數(shù)據(jù)社區(qū)由三個角色組成：（1）生產(chǎn)者；（2）平臺；（3）使用者。

數(shù)據(jù)消費者

是那些想要分享數(shù)據(jù)的團隊。他們是領域?qū)＜?，通常與上游業(yè)務和應用程序團隊保持一致。有關數(shù)據(jù)管理、產(chǎn)品所有權(quán)和數(shù)據(jù)治理的決策很大程度上取決于這些團隊。他們對數(shù)據(jù)質(zhì)量和業(yè)務元數(shù)據(jù)有最深刻的理解。

亞馬遜的經(jīng)驗表明，讓數(shù)據(jù)生產(chǎn)者承擔這種責任是很有好處的。擁有高質(zhì)量和可靠數(shù)據(jù)的生產(chǎn)者的影響力越來越大，這種受歡迎程度推動了積極反饋循環(huán)，吸引了更多用戶。由可發(fā)現(xiàn)的優(yōu)質(zhì)數(shù)據(jù)驅(qū)動實驗，其中數(shù)據(jù)以以前沒有被生產(chǎn)者考慮到的方式結(jié)合在一起。這種方式產(chǎn)生了巨大優(yōu)勢，使得數(shù)據(jù)成為橫跨內(nèi)部功能的“結(jié)締組織”，創(chuàng)建新的域內(nèi)模型，而不是與組織的“孤島”綁定。我們把這種結(jié)締組織稱為“數(shù)據(jù)契約”——數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)使用者之間的協(xié)議。這份契約確保用戶對數(shù)據(jù)質(zhì)量、頻率、業(yè)務使用和SLA服務周期終止設置合理預期。這種契約是不可變的，這意味著一旦生產(chǎn)者提交了一份契約，那么只能通過訂立一份新合同來進行修改。

傳統(tǒng)上，創(chuàng)建和維護重要數(shù)據(jù)契約歷來非常復雜，但是使用機器學習技術大大減少了這方面的工作。數(shù)據(jù)剖析使數(shù)據(jù)管理員能夠制定數(shù)據(jù)質(zhì)量規(guī)則，現(xiàn)在可以大規(guī)模識別個人可識別信息（PII），而分類有助于標記數(shù)據(jù)進而便于查找。這樣可以實現(xiàn)規(guī)?；芾硎跈?quán)，保證卓越的安全性和審計能力。

伴隨著實驗和創(chuàng)新，生產(chǎn)者進一步從數(shù)據(jù)中變現(xiàn)，為企業(yè)和生產(chǎn)者自身創(chuàng)造價值。

數(shù)據(jù)平臺

是負責“數(shù)據(jù)市場（Data Market Place)”運作的團隊，屬于實現(xiàn)數(shù)據(jù)社區(qū)的技術人員。

在亞馬遜公司，自2017年以來，我們特意使用了“集市”（marketplace）這個詞。我們認為，數(shù)據(jù)是具有內(nèi)在價值的生產(chǎn)資料，最成功的“數(shù)據(jù)集市”擁有一系列豐富的數(shù)據(jù)產(chǎn)品，值得信賴，而且為生產(chǎn)者和使用者提供令人愉悅的體驗。平臺團隊通常規(guī)模較小，充分利用云計算的能力，實現(xiàn)簡單的新數(shù)據(jù)連通、輕松瀏覽，產(chǎn)品比較、可靠性、耐用性、可擴展性、極其安全的交易以及輕松購買等特點。平臺團隊從傳統(tǒng)的監(jiān)控、維護和打補丁的運營任務轉(zhuǎn)到確保平臺滿足業(yè)務需求和支持社區(qū)創(chuàng)新的增值活動。平臺團隊不再是創(chuàng)新的瓶頸，而是創(chuàng)新的推動者。

Netflix等客戶已經(jīng)證明了數(shù)據(jù)平臺的強大力量，每天管理7000多億個事件，支持數(shù)據(jù)發(fā)現(xiàn)文化，并向更廣泛的社區(qū)開放工程化解決方案。

數(shù)據(jù)生產(chǎn)者

是想要使用數(shù)據(jù)的個人、團隊和機器，構(gòu)成了一個多樣化群體，包括業(yè)務分析師、數(shù)據(jù)工程師、軟件工程師和數(shù)據(jù)科學家。與數(shù)據(jù)生產(chǎn)者類似，使用者并沒有被整合到單一的IT組織中，而是成分散狀態(tài)，分布到各自的業(yè)務領域。他們熟悉業(yè)務才能了解業(yè)務重點，并能夠驗證業(yè)務假設。數(shù)據(jù)使用者希望最大限度地減少搜索數(shù)據(jù)、請求訪問和測試數(shù)據(jù)質(zhì)量等非增值活動的時間，快速使用他們選擇的工具去搜索和發(fā)現(xiàn)數(shù)據(jù)、了解數(shù)據(jù)質(zhì)量、構(gòu)建信任、訂閱數(shù)據(jù)以及開展分析服務。

納斯達克就是這樣一家客戶，納斯達克股票交易所是全球交易量最大的股權(quán)特許經(jīng)營商，其管理高數(shù)量和高速度的買家和賣家匹配，同時在以電子方式進行的貿(mào)易中提供支持股票報價的數(shù)據(jù)。他們將把來自內(nèi)部運營的交易所的所有數(shù)據(jù)都放到Amazon S3數(shù)據(jù)湖和Amazon Redshift Spectrum中。其中包括訂單、取消、報價和交易。這些數(shù)據(jù)轉(zhuǎn)變?yōu)橄⒉⒃贏mazon S3中歸檔，并將消息推動下游計費和報告監(jiān)督流程。

總結(jié)：

本篇文章我們聊到了數(shù)據(jù)驅(qū)動型組織需要考慮的數(shù)據(jù)文化與數(shù)據(jù)組織，數(shù)據(jù)文化強調(diào)基于事實進行敏捷決策，自由行動，不迎合內(nèi)部范疇。數(shù)據(jù)組織中需要明確數(shù)據(jù)生產(chǎn)者與消費者，并利用數(shù)據(jù)平臺作為中間載體。

在下一篇文章中我們將會展開數(shù)據(jù)驅(qū)動企業(yè)的機制搭建與執(zhí)行方法。希望大家繼續(xù)關注亞馬遜云科技的系列文章《打造數(shù)據(jù)驅(qū)動型企業(yè)》！

引用列表：

1.Slater,Dan(2020).Elements of Amazon’s Day 1 Culture.Available at:https://aws.amazon.

com/executive-insights/content/how-amazon-defines-and-operationalizes-a-day-1-culture/

2.Cagan,Marty(2018).Inspired.How to create tech products customers love.John Wiley&Sons;2nd edition.

3.AWS(2018).AWS re:Invent 2018:How Amazon Uses AWS Services for Analytics at a Massive Scale(ANT206).Available online at:

4.https://www.youtube.com/watch?v=PitJL9vOotc

5.Serverless Data Quality with Deequ on Glue:https://github.com/aws-samples/amazon-deequ-glue