企業(yè)的智能之旅 | 構(gòu)建企業(yè)數(shù)據(jù)基礎，釋放生成式AI無限潛力

在數(shù)字經(jīng)濟時代，數(shù)據(jù)是企業(yè)數(shù)字化轉(zhuǎn)型和生成式AI技術(shù)創(chuàng)新的戰(zhàn)略制高點。

企業(yè)數(shù)據(jù)的全面多樣、一致準確、和安全可靠是智能企業(yè)生成式AI項目成敗的關鍵。關于如何有效地為生成式AI做好數(shù)據(jù)準備工作，我們做以下概述介紹，供您參考。

數(shù)據(jù)是企業(yè)的血液

為企業(yè)帶來敏捷和效率

數(shù)據(jù)是企業(yè)重要的資產(chǎn)，分析型數(shù)據(jù)是企業(yè)運維的關鍵，幫助企業(yè)了解企業(yè)的現(xiàn)狀和問題，預測性數(shù)據(jù)則為企業(yè)帶來預測力和洞察力，幫助企業(yè)決策以掌控動態(tài)和方向。數(shù)據(jù)也是企業(yè)重要的負債，存儲管理數(shù)據(jù)為企業(yè)帶來成本支出，而數(shù)據(jù)安全隱私合規(guī)也為企業(yè)帶來責任和負擔。企業(yè)管理好數(shù)據(jù)，利用數(shù)據(jù)做更好的決策，能更好掌握市場動態(tài)和趨勢，改善客戶體驗，發(fā)現(xiàn)新的成長機會，提高業(yè)務運營效率。

關于數(shù)據(jù)的重要性有不少有趣的比喻。有人說數(shù)據(jù)是企業(yè)的“原油”、“黃金”、“牛奶”或“美酒”，也有人把數(shù)據(jù)看作“洪水”。這些比喻從不同方面闡述了數(shù)據(jù)的重要特性。我喜歡把數(shù)據(jù)看做企業(yè)的“血液”，而企業(yè)的數(shù)據(jù)流就是企業(yè)的血液流。企業(yè)數(shù)據(jù)管理水平高，企業(yè)就能更加健康、敏捷、高效。把數(shù)據(jù)作為資產(chǎn)轉(zhuǎn)化為產(chǎn)品，可以為企業(yè)帶來巨大的價值。

建立數(shù)據(jù)驅(qū)動的企業(yè)文化

增強數(shù)據(jù)文化水平

企業(yè)數(shù)據(jù)驅(qū)動的文化意味著企業(yè)將數(shù)據(jù)作為企業(yè)重要的戰(zhàn)略資產(chǎn)，讓數(shù)據(jù)在企業(yè)中容易獲取并廣泛使用，利用數(shù)據(jù)進行業(yè)務管理和決策。企業(yè)領導團隊要帶頭以數(shù)據(jù)來決策，打破部門間的數(shù)據(jù)壁壘，鼓勵所有人員用數(shù)據(jù)來指導行動，移除有效使用數(shù)據(jù)的障礙。企業(yè)要建立數(shù)據(jù)是戰(zhàn)略資產(chǎn)的觀念，建立機構(gòu)指定專人負責數(shù)據(jù)的流通和治理，將數(shù)據(jù)開發(fā)為產(chǎn)品并為企業(yè)一線工作人員廣泛使用。企業(yè)要建立數(shù)據(jù)相關的統(tǒng)一的語匯，培養(yǎng)教育員工提高數(shù)據(jù)水平（data literacy），掌握獲取數(shù)據(jù)的渠道，學會使用各種數(shù)據(jù)工具。領導要不滿足于利用數(shù)據(jù)形成的簡單結(jié)論，而是利用數(shù)據(jù)提出分析問題，通過探索和實驗獲得答案和洞察。

搭建數(shù)字現(xiàn)代基礎架構(gòu)

數(shù)據(jù)湖與數(shù)據(jù)網(wǎng)

生成式AI對企業(yè)的數(shù)據(jù)平臺和管理提出了新的更高的要求。企業(yè)需要搭建一個強力的數(shù)據(jù)基礎架構(gòu)以實現(xiàn)數(shù)據(jù)的價值，并為生成式AI打下堅實的基礎。這個數(shù)據(jù)基礎架構(gòu)要打破部門間的數(shù)據(jù)孤島和壁壘，跨企業(yè)存儲組織數(shù)據(jù)，保證數(shù)據(jù)質(zhì)量，管理元數(shù)據(jù)，提供數(shù)據(jù)目錄分類，支持數(shù)據(jù)抽取查詢，維護數(shù)據(jù)隱私安全合規(guī)。

亞馬遜云科技提供數(shù)據(jù)存儲、數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)展示等全方位的云原生和無服務器的數(shù)據(jù)云服務。亞馬遜原生數(shù)據(jù)戰(zhàn)略通過“原生數(shù)據(jù)基礎架構(gòu)”、“數(shù)據(jù)聯(lián)通一體化融合”、“智能驅(qū)動的數(shù)據(jù)應用創(chuàng)新”三個支柱與“數(shù)據(jù)治理與數(shù)據(jù)安全”一個基石，幫助企業(yè)治理好數(shù)據(jù)。企業(yè)通過“智能湖倉”和“數(shù)據(jù)網(wǎng)格”架構(gòu)，將數(shù)據(jù)庫、倉、湖連接成為一個數(shù)據(jù)網(wǎng)，實現(xiàn)零ETL的數(shù)據(jù)聯(lián)通和部署，通過數(shù)據(jù)分析和生成式AI服務構(gòu)建現(xiàn)代企業(yè)應用。

為生成式AI做好

專門的能力提升和數(shù)據(jù)準備

生成式AI所利用的非結(jié)構(gòu)化的數(shù)據(jù)需要準確，新鮮、獨特、全面的高質(zhì)量數(shù)據(jù)。在生成式AI的流程里，選定的海量數(shù)據(jù)通過標注和預處理，用來進行對基礎模型的訓練，隨后用來對模型精調(diào)和持續(xù)訓練，然后作為輸入通過模型推理，成為生成式AI應用的輸出。數(shù)據(jù)和生成式AI耦合成雙飛輪，形成數(shù)據(jù)到模型到應用的生成式AI服務端到端的智能數(shù)據(jù)應用。為生成式AI做好數(shù)據(jù)工作，企業(yè)需要掌握數(shù)據(jù)的收集和存儲，數(shù)據(jù)清洗，數(shù)據(jù)整合集成，數(shù)據(jù)標注和分類，數(shù)據(jù)版本控制，數(shù)據(jù)世系溯源，數(shù)據(jù)流程運營，和數(shù)據(jù)生命周期管理等7個方面的能力。

為生成式AI做好數(shù)據(jù)準備，企業(yè)特別需要在數(shù)據(jù)架構(gòu)中構(gòu)建特定功能支持最廣泛的用例集，聚焦數(shù)據(jù)生命周期的關鍵點，確保高質(zhì)量的數(shù)據(jù)，定義數(shù)據(jù)采集、管理、注釋和維護的角色、職責和流程，使用生成式AI幫助企業(yè)管理自己的數(shù)據(jù)。其中一些值得專門指出的點包括：

-策劃建立反映不同觀點的數(shù)據(jù)集；

-通過啟用而不是通過限制來治理數(shù)據(jù)；

-把數(shù)據(jù)作為有價值的產(chǎn)品；

-提升數(shù)據(jù)透明度和可用范圍；

-文檔應該賦能而不是窮于應付；

-尊重用戶隱私、授權(quán)和保密權(quán)。

提高數(shù)據(jù)質(zhì)量

確保生成式AI應用的高質(zhì)量輸入輸出

數(shù)據(jù)質(zhì)量對生成式AI的效能發(fā)揮起到重要作用，低質(zhì)量的數(shù)據(jù)帶來額外的成本和風險，產(chǎn)生低質(zhì)量的模型和結(jié)果，造成高成本的修復，失去用戶的信任，產(chǎn)生網(wǎng)絡安全漏洞。傳統(tǒng)的數(shù)據(jù)質(zhì)量管理已經(jīng)不夠，我們建議通過以下一些特別的措施改進和擴展所需的數(shù)據(jù)。

-獲取更多種類和更加準確的原數(shù)據(jù)，特別是各種非結(jié)構(gòu)化的數(shù)據(jù)；

-當缺少所需數(shù)據(jù)時，用數(shù)據(jù)合成的方法人工產(chǎn)生數(shù)據(jù)用來建模和測試；

-用人工智能技術(shù)加速形成端到端的可重復的規(guī)模使用的數(shù)據(jù)產(chǎn)品；

-更好地通過關聯(lián)和協(xié)同來管理數(shù)據(jù)，保持數(shù)據(jù)的一致性；

-通過云平臺遷移構(gòu)建現(xiàn)代化的數(shù)據(jù)架構(gòu)；

-制定統(tǒng)一的數(shù)據(jù)安全標準，在數(shù)據(jù)流程中的每一步加強數(shù)據(jù)安全管理。

使用生成式AI

提升數(shù)據(jù)管理應用水平

生成式AI帶來了數(shù)據(jù)應用的范式轉(zhuǎn)移，重塑了數(shù)據(jù)分析行業(yè)，使具有不同技術(shù)背景的數(shù)據(jù)分析師能夠高效地執(zhí)行數(shù)據(jù)處理任務。許多生成式AI有關的算法、模型和工具原本就是為更好的數(shù)據(jù)分析而發(fā)展起來的，無疑它們將會被更廣泛深入地被用于數(shù)據(jù)的實時和預測分析。

生成式AI可以用來做數(shù)據(jù)的標注和預處理，生成分析所需的數(shù)據(jù)，自動化數(shù)據(jù)的分析，強化數(shù)據(jù)的語義分析，將數(shù)據(jù)轉(zhuǎn)化成文字、圖像、視頻等多模態(tài)。人工智能通過自動生成樣板代碼和促進數(shù)據(jù)從源到目標的無縫移動，和生成的自動化模式和自定義代碼的協(xié)同作用，標志著數(shù)據(jù)處理的飛躍，在數(shù)據(jù)工程中發(fā)揮著關鍵作用。使用生成式AI增強數(shù)字管理應用的水平，可以在下述幾個方面做出努力：

-廣泛利用生成式AI挖掘所有數(shù)據(jù)以獲取最大的價值；

-除了培訓模型以外，利用大模型的語言語義模型工具，盡可能加強對數(shù)據(jù)的學習和理解；

-利用生成式AI盡量自動化規(guī)?；M行更多的數(shù)據(jù)工作；

-讓數(shù)據(jù)工作人員有時間結(jié)合業(yè)務做更多的獨立的創(chuàng)造性的分析和思考；

-綜合統(tǒng)籌數(shù)據(jù)和人工智能資源，做好人員新技能的獲得和再培訓。

智能之旅是我們這一代企業(yè)經(jīng)營者和員工的的使命，而構(gòu)建企業(yè)數(shù)據(jù)的核心能力需要企業(yè)領導團隊的持續(xù)努力和不斷實踐。通過制定和加速企業(yè)的數(shù)據(jù)戰(zhàn)略，構(gòu)建數(shù)據(jù)驅(qū)動的文化，建立與之相適應的企業(yè)組織機構(gòu)，采用現(xiàn)代的數(shù)據(jù)技術(shù)建立現(xiàn)代的數(shù)據(jù)架構(gòu)，并做好數(shù)據(jù)安全隱私合規(guī)相關的數(shù)據(jù)治理，企業(yè)將能通過生成式AI的加持，有效通過數(shù)字化轉(zhuǎn)型創(chuàng)新，用數(shù)據(jù)幫助企業(yè)成長和創(chuàng)造價值。其中的三大關鍵點是高質(zhì)量的數(shù)據(jù)、好的模型與工具，和數(shù)據(jù)的安全隱私主權(quán)的治理管控。