10月23日,數(shù)據(jù)湖高峰論壇在京召開,阿里云宣布推出業(yè)內(nèi)首個云原生企業(yè)級數(shù)據(jù)湖解決方案,提供EB級數(shù)據(jù)存儲、分析能力,可一站式實現(xiàn)湖存儲、湖加速、湖管理、湖計算,幫助企業(yè)對數(shù)據(jù)深入挖掘與分析,洞察其中蘊含價值,更適合于人工智能、物聯(lián)網(wǎng)、自動駕駛等擁有海量數(shù)據(jù)場景的新興行業(yè)。
阿里云智能存儲產(chǎn)品資深總監(jiān)陳起鯤透露,云原生企業(yè)級數(shù)據(jù)湖解決方案將首次被大規(guī)模應(yīng)用于今年雙11,支撐阿里巴巴經(jīng)濟體及百萬客戶全面上云,最大程度地釋放數(shù)據(jù)價值。
據(jù)悉,阿里云云原生企業(yè)級數(shù)據(jù)湖解決方案采用了存儲計算分離架構(gòu),基于阿里云對象存儲OSS構(gòu)建,并與阿里云數(shù)據(jù)湖分析Data Lake Analytics(DLA)、數(shù)據(jù)湖構(gòu)建Data Lake Formation(DLF)、E-MapReduce(EMR)等計算引擎無縫對接,兼容豐富的開源計算引擎生態(tài),可滿足大數(shù)據(jù)系統(tǒng)統(tǒng)一存儲、海量數(shù)據(jù)規(guī)模,更可靠、更靈活、更安全。
數(shù)據(jù)湖不是一個新的的概念,早在十年前的紐約Hadoop大會上,就有人提出并定義:數(shù)據(jù)湖,就是把你以前在磁帶上擁有的東西倒入到數(shù)據(jù)湖,然后開始探索這些數(shù)據(jù)。隨著大數(shù)據(jù)、云存儲、云計算日漸成熟,今天的數(shù)據(jù)湖已經(jīng)從概念走向成熟,在各類企業(yè)中大規(guī)模落地。
與傳統(tǒng)大數(shù)據(jù)解決方案不同的是,云原生數(shù)據(jù)湖基于下一代數(shù)據(jù)湖架構(gòu),可直接接入業(yè)務(wù)生產(chǎn)中心,如業(yè)務(wù)系統(tǒng)中的原始數(shù)據(jù)、日志數(shù)據(jù)等。數(shù)據(jù)可通過互聯(lián)網(wǎng)直接入湖,無需經(jīng)過中間處理,提升業(yè)務(wù)效率100%,驅(qū)動企業(yè)IT系統(tǒng)實現(xiàn)從成本中心轉(zhuǎn)型為創(chuàng)新中心。
以某國內(nèi)某知名社交游戲公司為例,基于阿里云數(shù)據(jù)湖方案,通過日志服務(wù)sls,將全球數(shù)據(jù)實時投遞到OSS統(tǒng)一存儲。利用OSS海量彈性能力冷熱分層,通過EMR和DLA搭建存算分離的大數(shù)據(jù)架構(gòu),實現(xiàn)千萬日活的玩家鏈路智能推薦實時分析,實時渠道統(tǒng)計,精細化運營,幫助公司提升了30%的用戶留存率。目前,已有幾千家企業(yè)在阿里云上構(gòu)建云數(shù)據(jù)湖。
阿里巴巴集團副總裁、阿里云智能數(shù)據(jù)庫產(chǎn)品事業(yè)部負責人李飛飛認為:“數(shù)據(jù)庫與大數(shù)據(jù)一體化正在加速數(shù)據(jù)湖規(guī)?;涞?。云原生數(shù)據(jù)湖讓企業(yè)無需管理計算資源,更靈活、更敏捷、更高效、更易用地挖掘數(shù)據(jù)價值,賦能企業(yè)快速疊代、快速創(chuàng)新,讓數(shù)據(jù)洞察成為企業(yè)核心競爭力?!?/span>
阿里巴巴集團副總裁、阿里云智能計算平臺事業(yè)部負責人賈揚清表示,基于阿里云數(shù)據(jù)湖OSS和數(shù)據(jù)倉庫MaxCompute可以快速實現(xiàn)企業(yè)想要的湖倉一體方案,無須數(shù)據(jù)傳輸,一份數(shù)據(jù)智能流動,跨多平臺計算,同時享受數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉庫的成長性,確保企業(yè)數(shù)據(jù)業(yè)務(wù)的連續(xù)性和時效性。
“數(shù)字經(jīng)濟時代,如果大數(shù)據(jù)是石油、算力是發(fā)動機,那么云原生企業(yè)級數(shù)據(jù)湖就是能將二者緊密結(jié)合的解決方案。不久的將來,數(shù)據(jù)湖將成為企業(yè)應(yīng)用創(chuàng)新標配,幫助企業(yè)全面實現(xiàn)智慧化、數(shù)智化轉(zhuǎn)型。”陳起鯤說。