2024年的14個大數(shù)據(jù)預(yù)測

在新的一年里，大數(shù)據(jù)將給我們帶來什么？這是任何人的猜測，真的，因為過去證明了未來很難預(yù)測。對于大數(shù)據(jù)預(yù)測，我們期待行業(yè)專家的洞察力。

數(shù)據(jù)庫提供商Percona的技術(shù)布道者Dave Stokes表示，人們對矢量數(shù)據(jù)庫的興趣將會激增。

“向量數(shù)據(jù)庫將是許多人討論的熱門新領(lǐng)域，但最終將在幾年后被關(guān)系數(shù)據(jù)庫所吸收?！盨tokes預(yù)測，“每隔10年左右，就有一種‘新’數(shù)據(jù)庫技術(shù)被宣布為關(guān)系數(shù)據(jù)庫的終結(jié)，開發(fā)人員跳上了這股潮流，結(jié)果卻重新發(fā)現(xiàn)，關(guān)系模型極其靈活，關(guān)系數(shù)據(jù)庫供應(yīng)商可以很容易地將新技術(shù)適應(yīng)到他們的產(chǎn)品中?！?/p>

完全不同的數(shù)據(jù)孤島的存在一直是數(shù)據(jù)工程師的眼中釘，但Hammerspace的營銷高級副總裁Molly Presley表示，隨著集中式數(shù)據(jù)編排成為中心舞臺，2024年將帶來一線希望。

“公司將開始從‘存儲和復(fù)制’轉(zhuǎn)向數(shù)據(jù)協(xié)調(diào)的世界，”Presley說，“在AI進步的推動下，現(xiàn)在存在強大的工具來分析數(shù)據(jù)并梳理出可操作的見解，然而，文件存儲基礎(chǔ)架構(gòu)沒有跟上這些進步的步伐。與試圖通過將文件副本從一個位置移動到另一個位置來管理存儲孤島和分布式環(huán)境的解決方案不同，數(shù)據(jù)協(xié)調(diào)可幫助公司將來自不同孤島和位置的數(shù)據(jù)集成到單個命名空間中，并在數(shù)據(jù)最有價值的時間和位置自動放置數(shù)據(jù)，從而更容易分析和獲得洞察?！?/p>

我們存儲的大部分?jǐn)?shù)據(jù)都是非結(jié)構(gòu)化的。Mino的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Anand Babu“AB”Periasamy表示，隨著它的堆積，這將成為一個真正的挑戰(zhàn)，但2024年將帶來管理這一切的新方法。

“2024年，隨著AI應(yīng)用的迅速發(fā)展，我們將看到真正非結(jié)構(gòu)化的數(shù)據(jù)（音頻、視頻、會議錄音、演講、演示文稿）的企業(yè)爆炸式增長。從AI的角度來看，這是高度‘可學(xué)習(xí)’的內(nèi)容，將其收集到AI數(shù)據(jù)湖中將極大地提升企業(yè)整體的智能能力，但也伴隨著獨特的挑戰(zhàn)，”Periasamy說，“要將性能保持在幾十拍字節(jié)，存在著明顯的挑戰(zhàn)。傳統(tǒng)的SAN/NAS解決方案通常無法解決這些問題——它們需要現(xiàn)代高性能對象存儲的屬性。這就是為什么大多數(shù)AI/ML技術(shù)（即OpenAI、Anthropic、Kubeflow）利用對象存儲，以及為什么大多數(shù)數(shù)據(jù)庫正在轉(zhuǎn)向以對象存儲為中心的原因?！?/p>

根據(jù)Forrester的數(shù)據(jù)，由企業(yè)管理的非結(jié)構(gòu)化數(shù)據(jù)將在2024年翻一番，為AI打開潛在的有利可圖的新選擇。

“全球數(shù)據(jù)和分析決策者表示，他們公司管理的數(shù)據(jù)中只有27%是非結(jié)構(gòu)化的，該分析小組表示，“隨著公司為客戶和員工推出更多的對話體驗，GenAI將把這一數(shù)字翻一番。企業(yè)將爭先恐后地存儲、分析和理解這種非結(jié)構(gòu)化數(shù)據(jù)的洪流。這一趨勢將體現(xiàn)在數(shù)據(jù)管道領(lǐng)域，2024年新建的數(shù)據(jù)管道中，80%將用于攝取、處理和存儲非結(jié)構(gòu)化數(shù)據(jù)?！?/p>

Faction公司負責(zé)技術(shù)和運營的副總裁Jeff Heller表示，2024年，全球許多企業(yè)將實施數(shù)據(jù)優(yōu)先架構(gòu)，以簡化其數(shù)據(jù)管理戰(zhàn)略。

Heller說：“公司正在經(jīng)歷一場范式轉(zhuǎn)變;他們要么選擇一種云，要么選擇架構(gòu)師來滿足他們的需求。在2024年，公司將需要考慮哪種云最適合他們，以最大限度地利用數(shù)據(jù)。基于短期目標(biāo)而不是長期增長做出的決定將導(dǎo)致數(shù)據(jù)鎖定。數(shù)據(jù)需要準(zhǔn)確和可訪問，才能及時做出決策。對于公司來說，管理數(shù)據(jù)正變得越來越復(fù)雜。對有效的數(shù)據(jù)管理策略的需求是至關(guān)重要的。企業(yè)將轉(zhuǎn)向提供從所有云的首選位置訪問單個數(shù)據(jù)集的解決方案，從而確保數(shù)據(jù)準(zhǔn)確性和提高效率?！?/p>

數(shù)據(jù)管道商店Matillion的首席產(chǎn)品官Ciaran Dyes表示，AI革命正在觸及生活的方方面面，包括大數(shù)據(jù)管理。

“在過去的十年里，數(shù)據(jù)工程師的角色已經(jīng)從根本上擴大了，”Dynes說，“未來12個月將是科技公司讓數(shù)據(jù)工程師的生活變得更簡單的一年。工具將投放市場，集成到現(xiàn)有平臺中，以支持將生成性AI添加到現(xiàn)有數(shù)據(jù)管道中，并能夠在內(nèi)部部署這些模型，以便用戶可以與這些模型實時交互，就像他們已經(jīng)對ChatGPT所做的那樣。不管市場上有哪些工具，明年也會出現(xiàn)對數(shù)據(jù)工程師的巨大需求，他們需要重新培訓(xùn)數(shù)據(jù)工程師，以掌握即時工程，如何微調(diào)這些模型，如何大幅提高他們的生產(chǎn)率。明年，數(shù)據(jù)工程師的生活將變得更加有趣。”

你有多看重數(shù)據(jù)工程師?Snowflake公司的產(chǎn)品管理總監(jiān)Jeff Hollan表示，在2024年，你會更加重視它們。

Hollan說：“有很多傳言說，AI革命將取代數(shù)據(jù)工程師的角色。事實并非如此，事實上，他們的數(shù)據(jù)專業(yè)知識將比以往任何時候都更加關(guān)鍵——只是以新的和不同的方式。為了跟上不斷發(fā)展的格局，數(shù)據(jù)工程師將需要了解GenAI如何增加價值。由數(shù)據(jù)工程師構(gòu)建和管理的數(shù)據(jù)管道可能是第一個連接大型語言模型的地方，供公司釋放價值。數(shù)據(jù)工程師將是懂得如何使用模型并將其插入數(shù)據(jù)管道以自動提取價值的人。他們還將負責(zé)監(jiān)督和理解AI工作。”

當(dāng)數(shù)據(jù)由云中的第三方管理時，你可能會覺得數(shù)據(jù)失去了控制。Ngrok的首席技術(shù)官Peter Shafton預(yù)測，2024年將是你開始收回對數(shù)據(jù)的控制權(quán)的一年。

Shafton說：“2024年的數(shù)據(jù)管理將顯著轉(zhuǎn)向更易獲得和更好的控制。盡管過去十年見證了人們對基于云的數(shù)據(jù)解決方案的熱潮，但鐘擺正在朝著更自我管理的方向搖擺，這種轉(zhuǎn)變背后的原因有兩個：隱私和成本效益。數(shù)據(jù)泄露的持續(xù)威脅以及對更嚴(yán)格訪問控制的需求，使企業(yè)對僅依賴外部云平臺持謹(jǐn)慎態(tài)度。此外，云數(shù)據(jù)存儲和處理成本的不可預(yù)測性促使公司尋求更可預(yù)測、更具成本效益的解決方案。可訪問且用戶友好的數(shù)據(jù)管理工具的激增也推動了這一趨勢，這些工具通常源于由優(yōu)步、Netflix和Airbnb等科技巨頭首創(chuàng)的開源解決方案?！?/p>

近幾年來，“數(shù)據(jù)智能”這個術(shù)語一直在增長，指的是公司對其數(shù)據(jù)實施的各種數(shù)據(jù)管理工具。Nasuni的首席創(chuàng)新官Jim Liddle表示，未來12個月將是這一概念成敗的關(guān)鍵。

Liddle說：“數(shù)量驚人的公司存儲了大量數(shù)據(jù)，只是因為他們不知道里面有什么，也不知道自己是否需要這些數(shù)據(jù)。數(shù)據(jù)準(zhǔn)確和最新嗎?它是否得到了適當(dāng)?shù)姆诸悾欠窨梢赃M行搜索?它合規(guī)嗎?它是否包含個人身份信息（PII）、受保護的健康信息（PHI）或其他敏感信息?它是按需提供還是存檔?在未來一年里，所有公司都將被迫接受AI的數(shù)據(jù)質(zhì)量、治理、訪問和存儲要求，然后才能推進數(shù)字轉(zhuǎn)型或改進計劃，以獲得所需的競爭優(yōu)勢?！?/p>

Coalesce首席執(zhí)行官兼聯(lián)合創(chuàng)始人Armon Petrossian表示，如果不能保持?jǐn)?shù)據(jù)的質(zhì)量和完整性，你就可以和你的2024年GenAI計劃吻別了。

他說：“在2024年，隨著數(shù)據(jù)從一種有價值的資產(chǎn)演變?yōu)榕畈l(fā)展的企業(yè)的命脈，技術(shù)格局將發(fā)生革命性轉(zhuǎn)變。忽視數(shù)據(jù)質(zhì)量、完整性和譜系的公司將面臨挑戰(zhàn)，不僅要做出明智的決策，還要實現(xiàn)生成性AI、LLM和ML應(yīng)用程序和用例的全部潛力。隨著這一年的到來，我預(yù)測，忽視打造強大的數(shù)據(jù)基礎(chǔ)和戰(zhàn)略的公司將發(fā)現(xiàn)，在快速發(fā)展的科技行業(yè)中維持下去將面臨越來越大的挑戰(zhàn)。那些未能適應(yīng)和優(yōu)先考慮數(shù)據(jù)基本面的公司將很難超越競爭對手，甚至可能冒著在這個競爭激烈的環(huán)境中生存的風(fēng)險。”

數(shù)據(jù)沿襲構(gòu)成了一個持久的挑戰(zhàn)。Altair云計算總工程師Yeshwant Mummaneni預(yù)測，2024年，區(qū)塊鏈將會伸出援手。

Mummaneni說，“隨著AI/ML模型在關(guān)鍵決策中發(fā)揮關(guān)鍵作用，無論是在人類的監(jiān)督下還是以完全自主的方式，模型的起源/血統(tǒng)變得至關(guān)重要。區(qū)塊鏈利用密碼學(xué)提供記錄、數(shù)字身份、簽名和驗證的不變性的基礎(chǔ)技術(shù)，將成為企業(yè)AI提供防篡改模型來源的關(guān)鍵方面?！?/p>

2024年，另一個大數(shù)據(jù)趨勢將像寒冷冬夜的冰晶一樣增長：合成數(shù)據(jù)。SAS的高級分析產(chǎn)品經(jīng)理Spiros Potamitis如是說。

Potamitis說：“隨著公司面臨更嚴(yán)格的監(jiān)管，跨境共享敏感數(shù)據(jù)變得更具挑戰(zhàn)性，合成數(shù)據(jù)將獲得很大的吸引力。合成數(shù)據(jù)可以高精度捕獲原始數(shù)據(jù)源的統(tǒng)計屬性，從而克服監(jiān)管障礙，為公司解鎖創(chuàng)新?！?/p>

ALTR首席執(zhí)行官James Beecham表示，雖然你的大數(shù)據(jù)存儲庫感覺是正確的，但2024年將是數(shù)據(jù)治理“左移”的一年。

Beecham說：“公司將在數(shù)據(jù)之旅的早期實施數(shù)據(jù)治理和安全措施，位于云數(shù)據(jù)倉庫的左側(cè)，這不僅將保護敏感信息，還將提高收集數(shù)據(jù)的整體質(zhì)量。隨著有關(guān)數(shù)據(jù)隱私和安全的法規(guī)越來越多，早期將數(shù)據(jù)治理和安全放在首位的公司將更好地準(zhǔn)備好遵守這些法規(guī)。2024年，預(yù)計將看到大量公司優(yōu)先考慮Shift Left數(shù)據(jù)治理和安全-使它們能夠啟動云數(shù)據(jù)倉庫和Lake House上可用的強大數(shù)據(jù)訪問治理和數(shù)據(jù)安全能力，并在數(shù)據(jù)離開源系統(tǒng)時將其擴展回數(shù)據(jù)?！?/p>

Denodo首席執(zhí)行官Angel Vi?a表示，2023年，數(shù)據(jù)網(wǎng)格在某種程度上讓位于其他科技趨勢（我們正在關(guān)注你，GenAI），但在2024年，數(shù)據(jù)網(wǎng)格的好處將變得過于明顯，不容忽視。

Vi?a說：“2024年將是數(shù)據(jù)網(wǎng)絡(luò)興起的關(guān)鍵一年，數(shù)據(jù)網(wǎng)絡(luò)擁抱了數(shù)據(jù)固有的分布式本質(zhì)。”在數(shù)據(jù)網(wǎng)中，IT的角色轉(zhuǎn)變?yōu)闉閿?shù)據(jù)域提供工作基礎(chǔ)，即在整個企業(yè)中創(chuàng)建和分發(fā)數(shù)據(jù)產(chǎn)品。轉(zhuǎn)折點將是認識到數(shù)據(jù)產(chǎn)品應(yīng)該得到與任何其他提供…的產(chǎn)品同等的重要性。.在這個以數(shù)據(jù)為中心的時代，僅僅以吸引人的方式打包數(shù)據(jù)是不夠的，公司需要增強整個最終用戶體驗。”