亞馬遜云科技攜手滴普科技，打造數(shù)據(jù)智能新標桿

隨著企業(yè)數(shù)字化轉(zhuǎn)型的不斷深入，數(shù)據(jù)對于業(yè)務的價值和重要性也逐漸凸顯。越來越多企業(yè)意識到，只有不斷提升底層數(shù)據(jù)基礎(chǔ)平臺的性能和能力，才能構(gòu)建數(shù)據(jù)驅(qū)動的業(yè)務，增強企業(yè)核心競爭力。作為湖倉一體數(shù)據(jù)智能基礎(chǔ)軟件獨角獸企業(yè)，滴普科技助力企業(yè)在云上構(gòu)筑數(shù)據(jù)智能基礎(chǔ)設(shè)施，發(fā)掘數(shù)據(jù)價值。

01

為企業(yè)打造湖倉一體數(shù)據(jù)智能平臺

針對企業(yè)在數(shù)據(jù)管理和數(shù)據(jù)價值挖掘方面的需求，滴普科技在亞馬遜云科技上打造的FastData Cloud實時湖倉平臺，基于現(xiàn)代數(shù)據(jù)棧的建設(shè)思路，全面整合了從數(shù)據(jù)源到數(shù)據(jù)分析以及數(shù)據(jù)價值實現(xiàn)的完整鏈路，幫助企業(yè)建立統(tǒng)一治理、流批一體、湖倉一體的云原生數(shù)據(jù)智能平臺，打造高彈性擴展、實時高處理性能、低運維成本、操作和體驗更優(yōu)的云原生數(shù)據(jù)智能平臺，實現(xiàn)海量數(shù)據(jù)實時分析，讓數(shù)據(jù)平臺真正成為支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施。

02

加速企業(yè)數(shù)據(jù)價值洞察

滴普科技通過云上提供的計算能力和基于人工智能的幫助，降低了數(shù)據(jù)準備與數(shù)據(jù)分析門檻，即使是普通業(yè)務人員，也可以自助在FastData Cloud中完整實現(xiàn)從數(shù)據(jù)源的接入，到數(shù)據(jù)預處理、建模和服務完成整個數(shù)據(jù)分析過程，并方便結(jié)果分享。支撐多種數(shù)據(jù)源的接入和管理，讓FastData Cloud可以通過輕量化的數(shù)據(jù)接入服務與算法識別表之間的關(guān)系，快速生成表關(guān)聯(lián)。搜索分析引擎是基于NLP技術(shù)的創(chuàng)新，可自動將自然語言轉(zhuǎn)化為SQL，實現(xiàn)自然語言搜索分析。

高效實時反饋搜索結(jié)果支持即時查詢，用戶無需長時間等待數(shù)據(jù)分析結(jié)果。FastData Cloud內(nèi)置實時運算，對3000萬行規(guī)模的數(shù)據(jù)進行常規(guī)查詢可做到秒級響應。亞馬遜云科技所提供的計算能力與云上構(gòu)建的定制硬件確保了亞馬遜云科技的云服務能夠在針對客戶工作負載進行優(yōu)化的平臺上運行。

圖：滴普科技基于亞馬遜云科技構(gòu)建的FastData Cloud

滴普科技FastData DataFacts產(chǎn)品總經(jīng)理劉波表示：“在選擇合作的云服務提供商時，亞馬遜云科技是首選伙伴。我們可以無縫對接亞馬遜云資源，包括Amazon S3的數(shù)據(jù)湖存儲、支持開源大數(shù)據(jù)框架的Amazon EMR服務，打造一站式大數(shù)據(jù)分析服務。我們的FastData Cloud解決方案采用存儲、計算分離架構(gòu)，即使在海量數(shù)據(jù)之上，也能實現(xiàn)高性能高并發(fā)的處理與查詢需求。再結(jié)合增強數(shù)據(jù)準備、探索式分析、高效反饋結(jié)果等簡單易用的產(chǎn)品功能，助力企業(yè)客戶的業(yè)務人員及時做出決策?！?/p>

圖：滴普科技基于亞馬遜云科技構(gòu)建的FastData Cloud功能

03

客戶案例分享

敦煌網(wǎng)大數(shù)據(jù)平臺

敦煌網(wǎng)是全球領(lǐng)先的在線外貿(mào)交易平臺，專注小額B2B賽道，為跨境電商產(chǎn)業(yè)鏈上的中小微企業(yè)提供從店鋪運營、流量營銷、倉儲物流、支付金融、客服風控、關(guān)檢匯稅到業(yè)務培訓等環(huán)節(jié)的全鏈路賦能，打造集相關(guān)服務于一體的全平臺、線上化外貿(mào)閉環(huán)模式，極大降低中小企業(yè)對接國際市場的門檻，在賦能國內(nèi)中小產(chǎn)能的同時惠及全球中小微零售商。

在業(yè)務發(fā)展初期，敦煌網(wǎng)客戶主要采用第三方機房服務器托管方式為業(yè)務提供支撐，隨著業(yè)務和數(shù)據(jù)量的增長，算力瓶頸無法實現(xiàn)高效伸縮、大量數(shù)據(jù)資產(chǎn)無法實現(xiàn)自上而下的高效管理，企業(yè)需要更加智能化的方式來挖掘更多來自大數(shù)據(jù)的價值。

針對敦煌網(wǎng)的業(yè)務現(xiàn)狀與需求，亞馬遜云科技攜手滴普科技為客戶提供了包括數(shù)據(jù)平臺咨詢與建設(shè)的完整方案，幫助客戶構(gòu)建符合當前業(yè)務需求和未來發(fā)展的新一代大數(shù)據(jù)平臺，以解決電商數(shù)據(jù)源多樣、數(shù)據(jù)量大、數(shù)據(jù)類型多的管理難題，并在云上借助Amazon S3統(tǒng)一數(shù)據(jù)湖與Amazon EMR統(tǒng)一的數(shù)據(jù)框架服務實現(xiàn)數(shù)據(jù)的快速采集、存儲、安全管理與大數(shù)據(jù)處理。

在數(shù)據(jù)治理方面，滴普科技將FastData Cloud實時湖倉平臺中的數(shù)據(jù)智能開發(fā)平臺DataFacts嵌入客戶業(yè)務中，為客戶的數(shù)據(jù)工程師提供包括數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、數(shù)據(jù)目錄能力，從而實現(xiàn)數(shù)據(jù)價值可持續(xù)釋放。

圖：滴普科技為客戶提供的

數(shù)據(jù)智能開發(fā)平臺與亞馬遜云科技融合架構(gòu)

客戶獲得的價值

在成本方面，通過Amazon EMR彈性可擴展的云上大數(shù)據(jù)解決方案替代傳統(tǒng)本地托管的服務器，實現(xiàn)業(yè)務高峰期生產(chǎn)環(huán)境資源的擴展，并可在集群空閑時期自動實現(xiàn)縮放節(jié)點和關(guān)閉集群，將此前高昂的基礎(chǔ)設(shè)施成本轉(zhuǎn)化為更靈活的業(yè)務運營成本。

在數(shù)據(jù)開發(fā)效率方面，客戶借助滴普科技FastData Cloud進行可視化的界面協(xié)同開發(fā)，調(diào)度支持日均百萬級的大數(shù)據(jù)任務執(zhí)行，并實現(xiàn)了嵌套DAG，采用更加靈活的子DAG任務混合編排方式，為DAG下存在多層級子DAG嵌套使用的復雜調(diào)度場景提供更靈活與穩(wěn)定的支持。

在數(shù)據(jù)安全方面，通過FastData Cloud，幫助客戶使用平臺的能力對腳本進行統(tǒng)一的可視化管理，使增刪改操作可追溯，保證了數(shù)據(jù)開發(fā)的腳本在平臺的開發(fā)與測試、生產(chǎn)環(huán)境的開發(fā)權(quán)限控制，從而增強了業(yè)務數(shù)據(jù)集的安全性與平臺操作的審計能力。

在數(shù)據(jù)治理能力方面，通過FastData Cloud提供的能力，客戶利用數(shù)據(jù)建模，圍繞數(shù)據(jù)標準保證數(shù)據(jù)在建模與開發(fā)環(huán)節(jié)的質(zhì)量。通過Amazon EMR與FastData Cloud的結(jié)合，很好地形成了統(tǒng)一的數(shù)據(jù)資產(chǎn)地圖，實現(xiàn)端到端的數(shù)據(jù)一站式治理。

目前，滴普科技FastData Cloud一站式云原生大數(shù)據(jù)分析平臺已經(jīng)上架亞馬遜云科技Marketplace，企業(yè)客戶能夠通過訂閱的方式快速獲得該解決方案，并得到來自滴普科技和亞馬遜云科技的技術(shù)支持。

未來，亞馬遜云科技與滴普科技將繼續(xù)在數(shù)據(jù)基礎(chǔ)平臺與數(shù)據(jù)治理等方面保持緊密合作，共同推出更多的產(chǎn)品和服務，立足中國，面向全球，助力中國企業(yè)出海，助力其大數(shù)據(jù)平臺建設(shè)穩(wěn)中有升，成就中國品牌全球發(fā)展。