數(shù)據(jù)是生成式AI的“燃料”

來源:亞馬遜云科技
作者:Ishit Vachhrajani
時間:2024-10-16
2300
數(shù)據(jù)是推動生成式AI發(fā)展的“燃料”。大量數(shù)據(jù)以及云端存儲和處理這些海量數(shù)據(jù)的關(guān)鍵能力,推動了強大基礎(chǔ)模型的快速崛起。

7FBE7169-1179-4269-8EA0-99338FE53EE0.jpeg

數(shù)據(jù)是推動生成式AI發(fā)展的“燃料”。大量數(shù)據(jù)以及云端存儲和處理這些海量數(shù)據(jù)的關(guān)鍵能力,推動了強大基礎(chǔ)模型的快速崛起。如果能對這些模型進行微調(diào),或使用檢索增強生成(RAG)根據(jù)業(yè)務(wù)需求對它們進行定制,就能整理好企業(yè)分散的數(shù)據(jù)并很好地利用起來。

數(shù)據(jù)和生成式AI的關(guān)系非常緊密。一方面,生成式AI可以把數(shù)據(jù)數(shù)據(jù)能力變成有利的分析;另一方面,生成式AI也能夠讓企業(yè)發(fā)現(xiàn)數(shù)據(jù)的問題,比如數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量低。這就是亞馬遜云科技在過去幾年大力投資數(shù)據(jù)建設(shè)的原因之一。

以下三個例子將說明使用人工智能技術(shù)推動數(shù)據(jù)發(fā)展的過程。在企業(yè)選擇人工智能用例時,或許會發(fā)現(xiàn)以下用例值得被列為優(yōu)先事項。它們可能會迅速帶來成效,并幫助企業(yè)從數(shù)據(jù)資產(chǎn)中挖掘價值。

源數(shù)據(jù)自動分析

簡化繁瑣工作流程

在任何數(shù)據(jù)項目中,最耗費資源的任務(wù)之一,僅僅是提取、轉(zhuǎn)換和加載(ETL)那些將被用于分析的數(shù)據(jù)。這一過程通常占據(jù)了60-70%的工作量,這一沉重的負(fù)擔(dān)正是亞馬遜云科技致力于實現(xiàn)Zero-ETL的原因。

生成式AI可以自動分析源數(shù)據(jù)和目標(biāo)數(shù)據(jù)結(jié)構(gòu),并完成相對應(yīng)的映射。Amazon Q Developer可以使用自然語言構(gòu)建數(shù)據(jù)集成管道。這不僅減少了所需的時間和工作量,而且還有助于在不同的ETL過程中保持一致性,從而更容易進行持續(xù)支持和維護。

企業(yè)往往發(fā)現(xiàn)它們擁有結(jié)構(gòu)化(如客戶資料和銷售訂單)和非結(jié)構(gòu)化(如社交媒體或客戶反饋)數(shù)據(jù),并且這些數(shù)據(jù)分散在各種數(shù)據(jù)源、格式、架構(gòu)和數(shù)據(jù)類型中。Amazon Glue中的Amazon Q Developer數(shù)據(jù)集成可以為20多種常見數(shù)據(jù)源生成ETL作業(yè),包括PostgreSQL、MySQL、Oracle、Amazon Redshift、Snowflake、Google BigQuery、DynamoDB、MongoDB和OpenSearch。借助ETL和數(shù)據(jù)管道的生成式AI,數(shù)據(jù)工程師、分析師和科學(xué)家可以花更多時間解決業(yè)務(wù)問題并從數(shù)據(jù)中獲得洞見,而不是耗費時間布置管道。這是如今大多數(shù)企業(yè)開始使用的生成式AI用例的原因。

數(shù)據(jù)可視化

更快的獲取,更好的洞察

在組織內(nèi)很難實現(xiàn)數(shù)據(jù)普惠化,數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家經(jīng)常會被大型復(fù)雜的項目所拖累,限制了他們?yōu)槊總€人提供數(shù)據(jù)的日??刹僮鞫匆姷哪芰?,并且不是每個人都具備嚴(yán)格和創(chuàng)造性地使用數(shù)據(jù)的技能。

借助生成式AI,企業(yè)可以使用對話式查詢和自然語言與數(shù)據(jù)互動。而不必等待專人生成報告和控制面板來獲取信息,從而減少獲取價值的時間。例如零售高管可以詢問:“上一季度表現(xiàn)最好的產(chǎn)品類別是什么?”全球優(yōu)質(zhì)汽車和摩托車制造商寶馬集團的區(qū)域供應(yīng)鏈專家一直在使用Amazon QuickSight中的生成式AI助手Amazon Q,快速響應(yīng)來自高級利益相關(guān)者(如董事會成員)的供應(yīng)鏈可視性請求。

數(shù)據(jù)有影響變革的力量,但這需要引人入勝的講故事技巧。生成式AI可以通過創(chuàng)建視覺吸引力強、讓數(shù)據(jù)變得栩栩如生的文檔和演示文稿,使處理數(shù)據(jù)變得簡單,使用數(shù)據(jù)也變得方便。它也可以幫助組織內(nèi)的人員更熟悉數(shù)據(jù)及數(shù)據(jù)背后的洞察,從而使數(shù)據(jù)對于更復(fù)雜的生成式AI應(yīng)用程序而言更加有價值。

合成數(shù)據(jù)

高度模擬客戶真實數(shù)據(jù)集

隨著分析和生成式AI的日漸成熟,許多企業(yè)發(fā)現(xiàn)他們沒有為新的預(yù)想用例準(zhǔn)備所需的全部數(shù)據(jù),而獲取第三方數(shù)據(jù)的成本可能過高。在醫(yī)療保健和金融服務(wù)等受監(jiān)管行業(yè),數(shù)據(jù)隱私和安全至關(guān)重要,并且很難使用真實的客戶數(shù)據(jù)。測試業(yè)務(wù)流程邊緣案例所需的數(shù)據(jù)往往也是有限的。

企業(yè)可以使用生成式AI生成的高保真合成數(shù)據(jù)用于測試、訓(xùn)練和創(chuàng)新。它模仿真實數(shù)據(jù)集的統(tǒng)計屬性和模式,同時保護隱私并消除敏感信息。企業(yè)還可以使用它來增強生成式AI模型訓(xùn)練所用的數(shù)據(jù),應(yīng)對數(shù)據(jù)稀缺或敏感的情況。高管可以使用合成數(shù)據(jù)進行情景規(guī)劃,模擬各種業(yè)務(wù)情況,并測試降低和規(guī)避風(fēng)險的策略。全球制藥公司默沙東使用合成數(shù)據(jù)和亞馬遜云科技的服務(wù)來降低藥品檢查過程中的誤判率。他們利用生成對抗網(wǎng)絡(luò)(深度學(xué)習(xí)模型將兩個神經(jīng)網(wǎng)絡(luò)對抗以生成新的合成數(shù)據(jù))和變分自動編碼器(生成神經(jīng)網(wǎng)絡(luò),將數(shù)據(jù)壓縮為緊湊表示,然后重構(gòu)數(shù)據(jù),在此過程中學(xué)會生成新數(shù)據(jù))等工具開發(fā)合成缺陷圖像數(shù)據(jù),將誤判率降低了50%。

生成式AI生成的合成數(shù)據(jù)可以釋放創(chuàng)新力,幫助創(chuàng)造出色的客戶體驗。Amazon One是一項快捷便利的服務(wù),允許用戶只使用手掌就能進行支付、出示會員卡、驗證年齡或進入場所。亞馬遜云科技需要大量手掌圖像數(shù)據(jù)來訓(xùn)練系統(tǒng),包括不同光照、手勢姿勢等情況的變化。該團隊使用生成式AI生成的合成數(shù)據(jù),甚至能訓(xùn)練系統(tǒng)檢測出高度逼真的硅膠手掌復(fù)制品。目前,客戶已經(jīng)使用Amazon One超過300萬次,準(zhǔn)確率達99.9999%。

從自動化繁瑣的數(shù)據(jù)集成任務(wù),到賦予業(yè)務(wù)用戶對話分析能力,生成式AI可以釋放數(shù)據(jù)的潛能,更快地獲取價值,幫助團隊實現(xiàn)之前難以企及的新想法并帶來創(chuàng)新力。

數(shù)據(jù)是生成式AI的“燃料”,而更為重要的是,應(yīng)該將生成式AI看作一種強大的新型工具,并將其融入到數(shù)據(jù)處理中。

立即登錄,閱讀全文
原文鏈接:點擊前往 >
文章來源:亞馬遜云科技
版權(quán)說明:本文內(nèi)容來自于亞馬遜云科技,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
優(yōu)質(zhì)服務(wù)商推薦
更多
個人VIP