數(shù)據(jù)是生成式AI的“燃料”

來源:亞馬遜云科技
作者:Ishit Vachhrajani
時間:2024-10-16
2607
數(shù)據(jù)是推動生成式AI發(fā)展的“燃料”。大量數(shù)據(jù)以及云端存儲和處理這些海量數(shù)據(jù)的關鍵能力,推動了強大基礎模型的快速崛起。

7FBE7169-1179-4269-8EA0-99338FE53EE0.jpeg

數(shù)據(jù)是推動生成式AI發(fā)展的“燃料”。大量數(shù)據(jù)以及云端存儲和處理這些海量數(shù)據(jù)的關鍵能力,推動了強大基礎模型的快速崛起。如果能對這些模型進行微調(diào),或使用檢索增強生成(RAG)根據(jù)業(yè)務需求對它們進行定制,就能整理好企業(yè)分散的數(shù)據(jù)并很好地利用起來。

數(shù)據(jù)和生成式AI的關系非常緊密。一方面,生成式AI可以把數(shù)據(jù)數(shù)據(jù)能力變成有利的分析;另一方面,生成式AI也能夠讓企業(yè)發(fā)現(xiàn)數(shù)據(jù)的問題,比如數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量低。這就是亞馬遜云科技在過去幾年大力投資數(shù)據(jù)建設的原因之一。

以下三個例子將說明使用人工智能技術推動數(shù)據(jù)發(fā)展的過程。在企業(yè)選擇人工智能用例時,或許會發(fā)現(xiàn)以下用例值得被列為優(yōu)先事項。它們可能會迅速帶來成效,并幫助企業(yè)從數(shù)據(jù)資產(chǎn)中挖掘價值。

源數(shù)據(jù)自動分析

簡化繁瑣工作流程

在任何數(shù)據(jù)項目中,最耗費資源的任務之一,僅僅是提取、轉(zhuǎn)換和加載(ETL)那些將被用于分析的數(shù)據(jù)。這一過程通常占據(jù)了60-70%的工作量,這一沉重的負擔正是亞馬遜云科技致力于實現(xiàn)Zero-ETL的原因。

生成式AI可以自動分析源數(shù)據(jù)和目標數(shù)據(jù)結構,并完成相對應的映射。Amazon Q Developer可以使用自然語言構建數(shù)據(jù)集成管道。這不僅減少了所需的時間和工作量,而且還有助于在不同的ETL過程中保持一致性,從而更容易進行持續(xù)支持和維護。

企業(yè)往往發(fā)現(xiàn)它們擁有結構化(如客戶資料和銷售訂單)和非結構化(如社交媒體或客戶反饋)數(shù)據(jù),并且這些數(shù)據(jù)分散在各種數(shù)據(jù)源、格式、架構和數(shù)據(jù)類型中。Amazon Glue中的Amazon Q Developer數(shù)據(jù)集成可以為20多種常見數(shù)據(jù)源生成ETL作業(yè),包括PostgreSQL、MySQL、Oracle、Amazon Redshift、Snowflake、Google BigQuery、DynamoDB、MongoDB和OpenSearch。借助ETL和數(shù)據(jù)管道的生成式AI,數(shù)據(jù)工程師、分析師和科學家可以花更多時間解決業(yè)務問題并從數(shù)據(jù)中獲得洞見,而不是耗費時間布置管道。這是如今大多數(shù)企業(yè)開始使用的生成式AI用例的原因。

數(shù)據(jù)可視化

更快的獲取,更好的洞察

在組織內(nèi)很難實現(xiàn)數(shù)據(jù)普惠化,數(shù)據(jù)分析師和數(shù)據(jù)科學家經(jīng)常會被大型復雜的項目所拖累,限制了他們?yōu)槊總€人提供數(shù)據(jù)的日??刹僮鞫匆姷哪芰Γ⑶也皇敲總€人都具備嚴格和創(chuàng)造性地使用數(shù)據(jù)的技能。

借助生成式AI,企業(yè)可以使用對話式查詢和自然語言與數(shù)據(jù)互動。而不必等待專人生成報告和控制面板來獲取信息,從而減少獲取價值的時間。例如零售高管可以詢問:“上一季度表現(xiàn)最好的產(chǎn)品類別是什么?”全球優(yōu)質(zhì)汽車和摩托車制造商寶馬集團的區(qū)域供應鏈專家一直在使用Amazon QuickSight中的生成式AI助手Amazon Q,快速響應來自高級利益相關者(如董事會成員)的供應鏈可視性請求。

數(shù)據(jù)有影響變革的力量,但這需要引人入勝的講故事技巧。生成式AI可以通過創(chuàng)建視覺吸引力強、讓數(shù)據(jù)變得栩栩如生的文檔和演示文稿,使處理數(shù)據(jù)變得簡單,使用數(shù)據(jù)也變得方便。它也可以幫助組織內(nèi)的人員更熟悉數(shù)據(jù)及數(shù)據(jù)背后的洞察,從而使數(shù)據(jù)對于更復雜的生成式AI應用程序而言更加有價值。

合成數(shù)據(jù)

高度模擬客戶真實數(shù)據(jù)集

隨著分析和生成式AI的日漸成熟,許多企業(yè)發(fā)現(xiàn)他們沒有為新的預想用例準備所需的全部數(shù)據(jù),而獲取第三方數(shù)據(jù)的成本可能過高。在醫(yī)療保健和金融服務等受監(jiān)管行業(yè),數(shù)據(jù)隱私和安全至關重要,并且很難使用真實的客戶數(shù)據(jù)。測試業(yè)務流程邊緣案例所需的數(shù)據(jù)往往也是有限的。

企業(yè)可以使用生成式AI生成的高保真合成數(shù)據(jù)用于測試、訓練和創(chuàng)新。它模仿真實數(shù)據(jù)集的統(tǒng)計屬性和模式,同時保護隱私并消除敏感信息。企業(yè)還可以使用它來增強生成式AI模型訓練所用的數(shù)據(jù),應對數(shù)據(jù)稀缺或敏感的情況。高管可以使用合成數(shù)據(jù)進行情景規(guī)劃,模擬各種業(yè)務情況,并測試降低和規(guī)避風險的策略。全球制藥公司默沙東使用合成數(shù)據(jù)和亞馬遜云科技的服務來降低藥品檢查過程中的誤判率。他們利用生成對抗網(wǎng)絡(深度學習模型將兩個神經(jīng)網(wǎng)絡對抗以生成新的合成數(shù)據(jù))和變分自動編碼器(生成神經(jīng)網(wǎng)絡,將數(shù)據(jù)壓縮為緊湊表示,然后重構數(shù)據(jù),在此過程中學會生成新數(shù)據(jù))等工具開發(fā)合成缺陷圖像數(shù)據(jù),將誤判率降低了50%。

生成式AI生成的合成數(shù)據(jù)可以釋放創(chuàng)新力,幫助創(chuàng)造出色的客戶體驗。Amazon One是一項快捷便利的服務,允許用戶只使用手掌就能進行支付、出示會員卡、驗證年齡或進入場所。亞馬遜云科技需要大量手掌圖像數(shù)據(jù)來訓練系統(tǒng),包括不同光照、手勢姿勢等情況的變化。該團隊使用生成式AI生成的合成數(shù)據(jù),甚至能訓練系統(tǒng)檢測出高度逼真的硅膠手掌復制品。目前,客戶已經(jīng)使用Amazon One超過300萬次,準確率達99.9999%。

從自動化繁瑣的數(shù)據(jù)集成任務,到賦予業(yè)務用戶對話分析能力,生成式AI可以釋放數(shù)據(jù)的潛能,更快地獲取價值,幫助團隊實現(xiàn)之前難以企及的新想法并帶來創(chuàng)新力。

數(shù)據(jù)是生成式AI的“燃料”,而更為重要的是,應該將生成式AI看作一種強大的新型工具,并將其融入到數(shù)據(jù)處理中。

立即登錄,閱讀全文
原文鏈接:點擊前往 >
文章來源:亞馬遜云科技
版權說明:本文內(nèi)容來自于亞馬遜云科技,本站不擁有所有權,不承擔相關法律責任。文章內(nèi)容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權,請聯(lián)系管理員(zzx@kchuhai.com)刪除!
優(yōu)質(zhì)服務商推薦
更多