2024年的14個(gè)大數(shù)據(jù)預(yù)測(cè)

在新的一年里，大數(shù)據(jù)將給我們帶來(lái)什么？這是任何人的猜測(cè)，真的，因?yàn)檫^(guò)去證明了未來(lái)很難預(yù)測(cè)。對(duì)于大數(shù)據(jù)預(yù)測(cè)，我們期待行業(yè)專家的洞察力。

數(shù)據(jù)庫(kù)提供商Percona的技術(shù)布道者Dave Stokes表示，人們對(duì)矢量數(shù)據(jù)庫(kù)的興趣將會(huì)激增。

“向量數(shù)據(jù)庫(kù)將是許多人討論的熱門新領(lǐng)域，但最終將在幾年后被關(guān)系數(shù)據(jù)庫(kù)所吸收?！盨tokes預(yù)測(cè)，“每隔10年左右，就有一種‘新’數(shù)據(jù)庫(kù)技術(shù)被宣布為關(guān)系數(shù)據(jù)庫(kù)的終結(jié)，開(kāi)發(fā)人員跳上了這股潮流，結(jié)果卻重新發(fā)現(xiàn)，關(guān)系模型極其靈活，關(guān)系數(shù)據(jù)庫(kù)供應(yīng)商可以很容易地將新技術(shù)適應(yīng)到他們的產(chǎn)品中。”

完全不同的數(shù)據(jù)孤島的存在一直是數(shù)據(jù)工程師的眼中釘，但Hammerspace的營(yíng)銷高級(jí)副總裁Molly Presley表示，隨著集中式數(shù)據(jù)編排成為中心舞臺(tái)，2024年將帶來(lái)一線希望。

“公司將開(kāi)始從‘存儲(chǔ)和復(fù)制’轉(zhuǎn)向數(shù)據(jù)協(xié)調(diào)的世界，”Presley說(shuō)，“在AI進(jìn)步的推動(dòng)下，現(xiàn)在存在強(qiáng)大的工具來(lái)分析數(shù)據(jù)并梳理出可操作的見(jiàn)解，然而，文件存儲(chǔ)基礎(chǔ)架構(gòu)沒(méi)有跟上這些進(jìn)步的步伐。與試圖通過(guò)將文件副本從一個(gè)位置移動(dòng)到另一個(gè)位置來(lái)管理存儲(chǔ)孤島和分布式環(huán)境的解決方案不同，數(shù)據(jù)協(xié)調(diào)可幫助公司將來(lái)自不同孤島和位置的數(shù)據(jù)集成到單個(gè)命名空間中，并在數(shù)據(jù)最有價(jià)值的時(shí)間和位置自動(dòng)放置數(shù)據(jù)，從而更容易分析和獲得洞察?！?/p>

我們存儲(chǔ)的大部分?jǐn)?shù)據(jù)都是非結(jié)構(gòu)化的。Mino的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Anand Babu“AB”Periasamy表示，隨著它的堆積，這將成為一個(gè)真正的挑戰(zhàn)，但2024年將帶來(lái)管理這一切的新方法。

“2024年，隨著AI應(yīng)用的迅速發(fā)展，我們將看到真正非結(jié)構(gòu)化的數(shù)據(jù)（音頻、視頻、會(huì)議錄音、演講、演示文稿）的企業(yè)爆炸式增長(zhǎng)。從AI的角度來(lái)看，這是高度‘可學(xué)習(xí)’的內(nèi)容，將其收集到AI數(shù)據(jù)湖中將極大地提升企業(yè)整體的智能能力，但也伴隨著獨(dú)特的挑戰(zhàn)，”Periasamy說(shuō)，“要將性能保持在幾十拍字節(jié)，存在著明顯的挑戰(zhàn)。傳統(tǒng)的SAN/NAS解決方案通常無(wú)法解決這些問(wèn)題——它們需要現(xiàn)代高性能對(duì)象存儲(chǔ)的屬性。這就是為什么大多數(shù)AI/ML技術(shù)（即OpenAI、Anthropic、Kubeflow）利用對(duì)象存儲(chǔ)，以及為什么大多數(shù)數(shù)據(jù)庫(kù)正在轉(zhuǎn)向以對(duì)象存儲(chǔ)為中心的原因?！?/p>

根據(jù)Forrester的數(shù)據(jù)，由企業(yè)管理的非結(jié)構(gòu)化數(shù)據(jù)將在2024年翻一番，為AI打開(kāi)潛在的有利可圖的新選擇。

“全球數(shù)據(jù)和分析決策者表示，他們公司管理的數(shù)據(jù)中只有27%是非結(jié)構(gòu)化的，該分析小組表示，“隨著公司為客戶和員工推出更多的對(duì)話體驗(yàn)，GenAI將把這一數(shù)字翻一番。企業(yè)將爭(zhēng)先恐后地存儲(chǔ)、分析和理解這種非結(jié)構(gòu)化數(shù)據(jù)的洪流。這一趨勢(shì)將體現(xiàn)在數(shù)據(jù)管道領(lǐng)域，2024年新建的數(shù)據(jù)管道中，80%將用于攝取、處理和存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)?！?/p>

Faction公司負(fù)責(zé)技術(shù)和運(yùn)營(yíng)的副總裁Jeff Heller表示，2024年，全球許多企業(yè)將實(shí)施數(shù)據(jù)優(yōu)先架構(gòu)，以簡(jiǎn)化其數(shù)據(jù)管理戰(zhàn)略。

Heller說(shuō)：“公司正在經(jīng)歷一場(chǎng)范式轉(zhuǎn)變;他們要么選擇一種云，要么選擇架構(gòu)師來(lái)滿足他們的需求。在2024年，公司將需要考慮哪種云最適合他們，以最大限度地利用數(shù)據(jù)?；诙唐谀繕?biāo)而不是長(zhǎng)期增長(zhǎng)做出的決定將導(dǎo)致數(shù)據(jù)鎖定。數(shù)據(jù)需要準(zhǔn)確和可訪問(wèn)，才能及時(shí)做出決策。對(duì)于公司來(lái)說(shuō)，管理數(shù)據(jù)正變得越來(lái)越復(fù)雜。對(duì)有效的數(shù)據(jù)管理策略的需求是至關(guān)重要的。企業(yè)將轉(zhuǎn)向提供從所有云的首選位置訪問(wèn)單個(gè)數(shù)據(jù)集的解決方案，從而確保數(shù)據(jù)準(zhǔn)確性和提高效率?！?/p>

數(shù)據(jù)管道商店Matillion的首席產(chǎn)品官Ciaran Dyes表示，AI革命正在觸及生活的方方面面，包括大數(shù)據(jù)管理。

“在過(guò)去的十年里，數(shù)據(jù)工程師的角色已經(jīng)從根本上擴(kuò)大了，”Dynes說(shuō)，“未來(lái)12個(gè)月將是科技公司讓數(shù)據(jù)工程師的生活變得更簡(jiǎn)單的一年。工具將投放市場(chǎng)，集成到現(xiàn)有平臺(tái)中，以支持將生成性AI添加到現(xiàn)有數(shù)據(jù)管道中，并能夠在內(nèi)部部署這些模型，以便用戶可以與這些模型實(shí)時(shí)交互，就像他們已經(jīng)對(duì)ChatGPT所做的那樣。不管市場(chǎng)上有哪些工具，明年也會(huì)出現(xiàn)對(duì)數(shù)據(jù)工程師的巨大需求，他們需要重新培訓(xùn)數(shù)據(jù)工程師，以掌握即時(shí)工程，如何微調(diào)這些模型，如何大幅提高他們的生產(chǎn)率。明年，數(shù)據(jù)工程師的生活將變得更加有趣?！?/p>

你有多看重?cái)?shù)據(jù)工程師?Snowflake公司的產(chǎn)品管理總監(jiān)Jeff Hollan表示，在2024年，你會(huì)更加重視它們。

Hollan說(shuō)：“有很多傳言說(shuō)，AI革命將取代數(shù)據(jù)工程師的角色。事實(shí)并非如此，事實(shí)上，他們的數(shù)據(jù)專業(yè)知識(shí)將比以往任何時(shí)候都更加關(guān)鍵——只是以新的和不同的方式。為了跟上不斷發(fā)展的格局，數(shù)據(jù)工程師將需要了解GenAI如何增加價(jià)值。由數(shù)據(jù)工程師構(gòu)建和管理的數(shù)據(jù)管道可能是第一個(gè)連接大型語(yǔ)言模型的地方，供公司釋放價(jià)值。數(shù)據(jù)工程師將是懂得如何使用模型并將其插入數(shù)據(jù)管道以自動(dòng)提取價(jià)值的人。他們還將負(fù)責(zé)監(jiān)督和理解AI工作?！?/p>

當(dāng)數(shù)據(jù)由云中的第三方管理時(shí)，你可能會(huì)覺(jué)得數(shù)據(jù)失去了控制。Ngrok的首席技術(shù)官Peter Shafton預(yù)測(cè)，2024年將是你開(kāi)始收回對(duì)數(shù)據(jù)的控制權(quán)的一年。

Shafton說(shuō)：“2024年的數(shù)據(jù)管理將顯著轉(zhuǎn)向更易獲得和更好的控制。盡管過(guò)去十年見(jiàn)證了人們對(duì)基于云的數(shù)據(jù)解決方案的熱潮，但鐘擺正在朝著更自我管理的方向搖擺，這種轉(zhuǎn)變背后的原因有兩個(gè)：隱私和成本效益。數(shù)據(jù)泄露的持續(xù)威脅以及對(duì)更嚴(yán)格訪問(wèn)控制的需求，使企業(yè)對(duì)僅依賴外部云平臺(tái)持謹(jǐn)慎態(tài)度。此外，云數(shù)據(jù)存儲(chǔ)和處理成本的不可預(yù)測(cè)性促使公司尋求更可預(yù)測(cè)、更具成本效益的解決方案?？稍L問(wèn)且用戶友好的數(shù)據(jù)管理工具的激增也推動(dòng)了這一趨勢(shì)，這些工具通常源于由優(yōu)步、Netflix和Airbnb等科技巨頭首創(chuàng)的開(kāi)源解決方案?！?/p>

近幾年來(lái)，“數(shù)據(jù)智能”這個(gè)術(shù)語(yǔ)一直在增長(zhǎng)，指的是公司對(duì)其數(shù)據(jù)實(shí)施的各種數(shù)據(jù)管理工具。Nasuni的首席創(chuàng)新官Jim Liddle表示，未來(lái)12個(gè)月將是這一概念成敗的關(guān)鍵。

Liddle說(shuō)：“數(shù)量驚人的公司存儲(chǔ)了大量數(shù)據(jù)，只是因?yàn)樗麄儾恢览锩嬗惺裁?，也不知道自己是否需要這些數(shù)據(jù)。數(shù)據(jù)準(zhǔn)確和最新嗎?它是否得到了適當(dāng)?shù)姆诸?，是否可以進(jìn)行搜索?它合規(guī)嗎?它是否包含個(gè)人身份信息（PII）、受保護(hù)的健康信息（PHI）或其他敏感信息?它是按需提供還是存檔?在未來(lái)一年里，所有公司都將被迫接受AI的數(shù)據(jù)質(zhì)量、治理、訪問(wèn)和存儲(chǔ)要求，然后才能推進(jìn)數(shù)字轉(zhuǎn)型或改進(jìn)計(jì)劃，以獲得所需的競(jìng)爭(zhēng)優(yōu)勢(shì)?！?/p>

Coalesce首席執(zhí)行官兼聯(lián)合創(chuàng)始人Armon Petrossian表示，如果不能保持?jǐn)?shù)據(jù)的質(zhì)量和完整性，你就可以和你的2024年GenAI計(jì)劃吻別了。

他說(shuō)：“在2024年，隨著數(shù)據(jù)從一種有價(jià)值的資產(chǎn)演變?yōu)榕畈l(fā)展的企業(yè)的命脈，技術(shù)格局將發(fā)生革命性轉(zhuǎn)變。忽視數(shù)據(jù)質(zhì)量、完整性和譜系的公司將面臨挑戰(zhàn)，不僅要做出明智的決策，還要實(shí)現(xiàn)生成性AI、LLM和ML應(yīng)用程序和用例的全部潛力。隨著這一年的到來(lái)，我預(yù)測(cè)，忽視打造強(qiáng)大的數(shù)據(jù)基礎(chǔ)和戰(zhàn)略的公司將發(fā)現(xiàn)，在快速發(fā)展的科技行業(yè)中維持下去將面臨越來(lái)越大的挑戰(zhàn)。那些未能適應(yīng)和優(yōu)先考慮數(shù)據(jù)基本面的公司將很難超越競(jìng)爭(zhēng)對(duì)手，甚至可能冒著在這個(gè)競(jìng)爭(zhēng)激烈的環(huán)境中生存的風(fēng)險(xiǎn)。”

數(shù)據(jù)沿襲構(gòu)成了一個(gè)持久的挑戰(zhàn)。Altair云計(jì)算總工程師Yeshwant Mummaneni預(yù)測(cè)，2024年，區(qū)塊鏈將會(huì)伸出援手。

Mummaneni說(shuō)，“隨著AI/ML模型在關(guān)鍵決策中發(fā)揮關(guān)鍵作用，無(wú)論是在人類的監(jiān)督下還是以完全自主的方式，模型的起源/血統(tǒng)變得至關(guān)重要。區(qū)塊鏈利用密碼學(xué)提供記錄、數(shù)字身份、簽名和驗(yàn)證的不變性的基礎(chǔ)技術(shù)，將成為企業(yè)AI提供防篡改模型來(lái)源的關(guān)鍵方面?！?/p>

2024年，另一個(gè)大數(shù)據(jù)趨勢(shì)將像寒冷冬夜的冰晶一樣增長(zhǎng)：合成數(shù)據(jù)。SAS的高級(jí)分析產(chǎn)品經(jīng)理Spiros Potamitis如是說(shuō)。

Potamitis說(shuō)：“隨著公司面臨更嚴(yán)格的監(jiān)管，跨境共享敏感數(shù)據(jù)變得更具挑戰(zhàn)性，合成數(shù)據(jù)將獲得很大的吸引力。合成數(shù)據(jù)可以高精度捕獲原始數(shù)據(jù)源的統(tǒng)計(jì)屬性，從而克服監(jiān)管障礙，為公司解鎖創(chuàng)新?！?/p>

ALTR首席執(zhí)行官James Beecham表示，雖然你的大數(shù)據(jù)存儲(chǔ)庫(kù)感覺(jué)是正確的，但2024年將是數(shù)據(jù)治理“左移”的一年。

Beecham說(shuō)：“公司將在數(shù)據(jù)之旅的早期實(shí)施數(shù)據(jù)治理和安全措施，位于云數(shù)據(jù)倉(cāng)庫(kù)的左側(cè)，這不僅將保護(hù)敏感信息，還將提高收集數(shù)據(jù)的整體質(zhì)量。隨著有關(guān)數(shù)據(jù)隱私和安全的法規(guī)越來(lái)越多，早期將數(shù)據(jù)治理和安全放在首位的公司將更好地準(zhǔn)備好遵守這些法規(guī)。2024年，預(yù)計(jì)將看到大量公司優(yōu)先考慮Shift Left數(shù)據(jù)治理和安全-使它們能夠啟動(dòng)云數(shù)據(jù)倉(cāng)庫(kù)和Lake House上可用的強(qiáng)大數(shù)據(jù)訪問(wèn)治理和數(shù)據(jù)安全能力，并在數(shù)據(jù)離開(kāi)源系統(tǒng)時(shí)將其擴(kuò)展回?cái)?shù)據(jù)?！?/p>

Denodo首席執(zhí)行官Angel Vi?a表示，2023年，數(shù)據(jù)網(wǎng)格在某種程度上讓位于其他科技趨勢(shì)（我們正在關(guān)注你，GenAI），但在2024年，數(shù)據(jù)網(wǎng)格的好處將變得過(guò)于明顯，不容忽視。

Vi?a說(shuō)：“2024年將是數(shù)據(jù)網(wǎng)絡(luò)興起的關(guān)鍵一年，數(shù)據(jù)網(wǎng)絡(luò)擁抱了數(shù)據(jù)固有的分布式本質(zhì)?！痹跀?shù)據(jù)網(wǎng)中，IT的角色轉(zhuǎn)變?yōu)闉閿?shù)據(jù)域提供工作基礎(chǔ)，即在整個(gè)企業(yè)中創(chuàng)建和分發(fā)數(shù)據(jù)產(chǎn)品。轉(zhuǎn)折點(diǎn)將是認(rèn)識(shí)到數(shù)據(jù)產(chǎn)品應(yīng)該得到與任何其他提供…的產(chǎn)品同等的重要性。.在這個(gè)以數(shù)據(jù)為中心的時(shí)代，僅僅以吸引人的方式打包數(shù)據(jù)是不夠的，公司需要增強(qiáng)整個(gè)最終用戶體驗(yàn)?！?/p>