企業(yè)的智能之旅 | 構(gòu)建企業(yè)數(shù)據(jù)基礎(chǔ)，釋放生成式AI無限潛力

在數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)是企業(yè)數(shù)字化轉(zhuǎn)型和生成式AI技術(shù)創(chuàng)新的戰(zhàn)略制高點(diǎn)。

企業(yè)數(shù)據(jù)的全面多樣、一致準(zhǔn)確、和安全可靠是智能企業(yè)生成式AI項(xiàng)目成敗的關(guān)鍵。關(guān)于如何有效地為生成式AI做好數(shù)據(jù)準(zhǔn)備工作，我們做以下概述介紹，供您參考。

數(shù)據(jù)是企業(yè)的血液

為企業(yè)帶來敏捷和效率

數(shù)據(jù)是企業(yè)重要的資產(chǎn)，分析型數(shù)據(jù)是企業(yè)運(yùn)維的關(guān)鍵，幫助企業(yè)了解企業(yè)的現(xiàn)狀和問題，預(yù)測性數(shù)據(jù)則為企業(yè)帶來預(yù)測力和洞察力，幫助企業(yè)決策以掌控動態(tài)和方向。數(shù)據(jù)也是企業(yè)重要的負(fù)債，存儲管理數(shù)據(jù)為企業(yè)帶來成本支出，而數(shù)據(jù)安全隱私合規(guī)也為企業(yè)帶來責(zé)任和負(fù)擔(dān)。企業(yè)管理好數(shù)據(jù)，利用數(shù)據(jù)做更好的決策，能更好掌握市場動態(tài)和趨勢，改善客戶體驗(yàn)，發(fā)現(xiàn)新的成長機(jī)會，提高業(yè)務(wù)運(yùn)營效率。

關(guān)于數(shù)據(jù)的重要性有不少有趣的比喻。有人說數(shù)據(jù)是企業(yè)的“原油”、“黃金”、“牛奶”或“美酒”，也有人把數(shù)據(jù)看作“洪水”。這些比喻從不同方面闡述了數(shù)據(jù)的重要特性。我喜歡把數(shù)據(jù)看做企業(yè)的“血液”，而企業(yè)的數(shù)據(jù)流就是企業(yè)的血液流。企業(yè)數(shù)據(jù)管理水平高，企業(yè)就能更加健康、敏捷、高效。把數(shù)據(jù)作為資產(chǎn)轉(zhuǎn)化為產(chǎn)品，可以為企業(yè)帶來巨大的價(jià)值。

建立數(shù)據(jù)驅(qū)動的企業(yè)文化

增強(qiáng)數(shù)據(jù)文化水平

企業(yè)數(shù)據(jù)驅(qū)動的文化意味著企業(yè)將數(shù)據(jù)作為企業(yè)重要的戰(zhàn)略資產(chǎn)，讓數(shù)據(jù)在企業(yè)中容易獲取并廣泛使用，利用數(shù)據(jù)進(jìn)行業(yè)務(wù)管理和決策。企業(yè)領(lǐng)導(dǎo)團(tuán)隊(duì)要帶頭以數(shù)據(jù)來決策，打破部門間的數(shù)據(jù)壁壘，鼓勵所有人員用數(shù)據(jù)來指導(dǎo)行動，移除有效使用數(shù)據(jù)的障礙。企業(yè)要建立數(shù)據(jù)是戰(zhàn)略資產(chǎn)的觀念，建立機(jī)構(gòu)指定專人負(fù)責(zé)數(shù)據(jù)的流通和治理，將數(shù)據(jù)開發(fā)為產(chǎn)品并為企業(yè)一線工作人員廣泛使用。企業(yè)要建立數(shù)據(jù)相關(guān)的統(tǒng)一的語匯，培養(yǎng)教育員工提高數(shù)據(jù)水平（data literacy），掌握獲取數(shù)據(jù)的渠道，學(xué)會使用各種數(shù)據(jù)工具。領(lǐng)導(dǎo)要不滿足于利用數(shù)據(jù)形成的簡單結(jié)論，而是利用數(shù)據(jù)提出分析問題，通過探索和實(shí)驗(yàn)獲得答案和洞察。

搭建數(shù)字現(xiàn)代基礎(chǔ)架構(gòu)

數(shù)據(jù)湖與數(shù)據(jù)網(wǎng)

生成式AI對企業(yè)的數(shù)據(jù)平臺和管理提出了新的更高的要求。企業(yè)需要搭建一個(gè)強(qiáng)力的數(shù)據(jù)基礎(chǔ)架構(gòu)以實(shí)現(xiàn)數(shù)據(jù)的價(jià)值，并為生成式AI打下堅(jiān)實(shí)的基礎(chǔ)。這個(gè)數(shù)據(jù)基礎(chǔ)架構(gòu)要打破部門間的數(shù)據(jù)孤島和壁壘，跨企業(yè)存儲組織數(shù)據(jù)，保證數(shù)據(jù)質(zhì)量，管理元數(shù)據(jù)，提供數(shù)據(jù)目錄分類，支持?jǐn)?shù)據(jù)抽取查詢，維護(hù)數(shù)據(jù)隱私安全合規(guī)。

亞馬遜云科技提供數(shù)據(jù)存儲、數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)展示等全方位的云原生和無服務(wù)器的數(shù)據(jù)云服務(wù)。亞馬遜原生數(shù)據(jù)戰(zhàn)略通過“原生數(shù)據(jù)基礎(chǔ)架構(gòu)”、“數(shù)據(jù)聯(lián)通一體化融合”、“智能驅(qū)動的數(shù)據(jù)應(yīng)用創(chuàng)新”三個(gè)支柱與“數(shù)據(jù)治理與數(shù)據(jù)安全”一個(gè)基石，幫助企業(yè)治理好數(shù)據(jù)。企業(yè)通過“智能湖倉”和“數(shù)據(jù)網(wǎng)格”架構(gòu)，將數(shù)據(jù)庫、倉、湖連接成為一個(gè)數(shù)據(jù)網(wǎng)，實(shí)現(xiàn)零ETL的數(shù)據(jù)聯(lián)通和部署，通過數(shù)據(jù)分析和生成式AI服務(wù)構(gòu)建現(xiàn)代企業(yè)應(yīng)用。

為生成式AI做好

專門的能力提升和數(shù)據(jù)準(zhǔn)備

生成式AI所利用的非結(jié)構(gòu)化的數(shù)據(jù)需要準(zhǔn)確，新鮮、獨(dú)特、全面的高質(zhì)量數(shù)據(jù)。在生成式AI的流程里，選定的海量數(shù)據(jù)通過標(biāo)注和預(yù)處理，用來進(jìn)行對基礎(chǔ)模型的訓(xùn)練，隨后用來對模型精調(diào)和持續(xù)訓(xùn)練，然后作為輸入通過模型推理，成為生成式AI應(yīng)用的輸出。數(shù)據(jù)和生成式AI耦合成雙飛輪，形成數(shù)據(jù)到模型到應(yīng)用的生成式AI服務(wù)端到端的智能數(shù)據(jù)應(yīng)用。為生成式AI做好數(shù)據(jù)工作，企業(yè)需要掌握數(shù)據(jù)的收集和存儲，數(shù)據(jù)清洗，數(shù)據(jù)整合集成，數(shù)據(jù)標(biāo)注和分類，數(shù)據(jù)版本控制，數(shù)據(jù)世系溯源，數(shù)據(jù)流程運(yùn)營，和數(shù)據(jù)生命周期管理等7個(gè)方面的能力。

為生成式AI做好數(shù)據(jù)準(zhǔn)備，企業(yè)特別需要在數(shù)據(jù)架構(gòu)中構(gòu)建特定功能支持最廣泛的用例集，聚焦數(shù)據(jù)生命周期的關(guān)鍵點(diǎn)，確保高質(zhì)量的數(shù)據(jù)，定義數(shù)據(jù)采集、管理、注釋和維護(hù)的角色、職責(zé)和流程，使用生成式AI幫助企業(yè)管理自己的數(shù)據(jù)。其中一些值得專門指出的點(diǎn)包括：

-策劃建立反映不同觀點(diǎn)的數(shù)據(jù)集；

-通過啟用而不是通過限制來治理數(shù)據(jù)；

-把數(shù)據(jù)作為有價(jià)值的產(chǎn)品；

-提升數(shù)據(jù)透明度和可用范圍；

-文檔應(yīng)該賦能而不是窮于應(yīng)付；

-尊重用戶隱私、授權(quán)和保密權(quán)。

提高數(shù)據(jù)質(zhì)量

確保生成式AI應(yīng)用的高質(zhì)量輸入輸出

數(shù)據(jù)質(zhì)量對生成式AI的效能發(fā)揮起到重要作用，低質(zhì)量的數(shù)據(jù)帶來額外的成本和風(fēng)險(xiǎn)，產(chǎn)生低質(zhì)量的模型和結(jié)果，造成高成本的修復(fù)，失去用戶的信任，產(chǎn)生網(wǎng)絡(luò)安全漏洞。傳統(tǒng)的數(shù)據(jù)質(zhì)量管理已經(jīng)不夠，我們建議通過以下一些特別的措施改進(jìn)和擴(kuò)展所需的數(shù)據(jù)。

-獲取更多種類和更加準(zhǔn)確的原數(shù)據(jù)，特別是各種非結(jié)構(gòu)化的數(shù)據(jù)；

-當(dāng)缺少所需數(shù)據(jù)時(shí)，用數(shù)據(jù)合成的方法人工產(chǎn)生數(shù)據(jù)用來建模和測試；

-用人工智能技術(shù)加速形成端到端的可重復(fù)的規(guī)模使用的數(shù)據(jù)產(chǎn)品；

-更好地通過關(guān)聯(lián)和協(xié)同來管理數(shù)據(jù)，保持?jǐn)?shù)據(jù)的一致性；

-通過云平臺遷移構(gòu)建現(xiàn)代化的數(shù)據(jù)架構(gòu)；

-制定統(tǒng)一的數(shù)據(jù)安全標(biāo)準(zhǔn)，在數(shù)據(jù)流程中的每一步加強(qiáng)數(shù)據(jù)安全管理。

使用生成式AI

提升數(shù)據(jù)管理應(yīng)用水平

生成式AI帶來了數(shù)據(jù)應(yīng)用的范式轉(zhuǎn)移，重塑了數(shù)據(jù)分析行業(yè)，使具有不同技術(shù)背景的數(shù)據(jù)分析師能夠高效地執(zhí)行數(shù)據(jù)處理任務(wù)。許多生成式AI有關(guān)的算法、模型和工具原本就是為更好的數(shù)據(jù)分析而發(fā)展起來的，無疑它們將會被更廣泛深入地被用于數(shù)據(jù)的實(shí)時(shí)和預(yù)測分析。

生成式AI可以用來做數(shù)據(jù)的標(biāo)注和預(yù)處理，生成分析所需的數(shù)據(jù)，自動化數(shù)據(jù)的分析，強(qiáng)化數(shù)據(jù)的語義分析，將數(shù)據(jù)轉(zhuǎn)化成文字、圖像、視頻等多模態(tài)。人工智能通過自動生成樣板代碼和促進(jìn)數(shù)據(jù)從源到目標(biāo)的無縫移動，和生成的自動化模式和自定義代碼的協(xié)同作用，標(biāo)志著數(shù)據(jù)處理的飛躍，在數(shù)據(jù)工程中發(fā)揮著關(guān)鍵作用。使用生成式AI增強(qiáng)數(shù)字管理應(yīng)用的水平，可以在下述幾個(gè)方面做出努力：

-廣泛利用生成式AI挖掘所有數(shù)據(jù)以獲取最大的價(jià)值；

-除了培訓(xùn)模型以外，利用大模型的語言語義模型工具，盡可能加強(qiáng)對數(shù)據(jù)的學(xué)習(xí)和理解；

-利用生成式AI盡量自動化規(guī)模化進(jìn)行更多的數(shù)據(jù)工作；

-讓數(shù)據(jù)工作人員有時(shí)間結(jié)合業(yè)務(wù)做更多的獨(dú)立的創(chuàng)造性的分析和思考；

-綜合統(tǒng)籌數(shù)據(jù)和人工智能資源，做好人員新技能的獲得和再培訓(xùn)。

智能之旅是我們這一代企業(yè)經(jīng)營者和員工的的使命，而構(gòu)建企業(yè)數(shù)據(jù)的核心能力需要企業(yè)領(lǐng)導(dǎo)團(tuán)隊(duì)的持續(xù)努力和不斷實(shí)踐。通過制定和加速企業(yè)的數(shù)據(jù)戰(zhàn)略，構(gòu)建數(shù)據(jù)驅(qū)動的文化，建立與之相適應(yīng)的企業(yè)組織機(jī)構(gòu)，采用現(xiàn)代的數(shù)據(jù)技術(shù)建立現(xiàn)代的數(shù)據(jù)架構(gòu)，并做好數(shù)據(jù)安全隱私合規(guī)相關(guān)的數(shù)據(jù)治理，企業(yè)將能通過生成式AI的加持，有效通過數(shù)字化轉(zhuǎn)型創(chuàng)新，用數(shù)據(jù)幫助企業(yè)成長和創(chuàng)造價(jià)值。其中的三大關(guān)鍵點(diǎn)是高質(zhì)量的數(shù)據(jù)、好的模型與工具，和數(shù)據(jù)的安全隱私主權(quán)的治理管控。