UCloud升級推出智能大數(shù)據(jù)平臺USDP3.0，助力企業(yè)快速構(gòu)建數(shù)據(jù)處理能力

隨著互聯(lián)網(wǎng)技術(shù)及移動設(shè)備的普及，大量數(shù)據(jù)井噴式的產(chǎn)生和積累，如何有效地對海量數(shù)據(jù)進行計算及分析處理，將成為企業(yè)打通大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新鏈路上的重要節(jié)點。

智能大數(shù)據(jù)平臺USDP（UCloud Smart Data Platform）是UCloud基于多年大數(shù)據(jù)平臺開發(fā)經(jīng)驗，自主研發(fā)的智能化、輕量級的大數(shù)據(jù)基礎(chǔ)服務(wù)平臺，提供一站式大數(shù)據(jù)集群管理和運維能力，能夠幫用戶快速構(gòu)建起大數(shù)據(jù)的分析處理能力。USDP全面兼容開源生態(tài)，輔助企業(yè)用戶快速實現(xiàn)大數(shù)據(jù)基礎(chǔ)平臺的建設(shè)和控制管理；結(jié)合靈活可靠的部署方式，構(gòu)建海量數(shù)據(jù)的流批一體及數(shù)據(jù)湖倉一體架構(gòu)，實現(xiàn)對數(shù)據(jù)質(zhì)量、可用性、可靠性、安全性等多方面的數(shù)據(jù)治理體系建設(shè)。

數(shù)據(jù)計算、分析、治理面對的挑戰(zhàn)

在新場景、新技術(shù)及新應(yīng)用的推動下，數(shù)據(jù)量呈爆發(fā)式增長，在指數(shù)級增長的海量數(shù)據(jù)和類型多樣的數(shù)據(jù)形式下，給企業(yè)的大數(shù)據(jù)處理能力帶來了諸多挑戰(zhàn)，企業(yè)需要從數(shù)據(jù)采集、存儲、處理到數(shù)據(jù)展示及應(yīng)用全鏈路構(gòu)建或優(yōu)化解決方案。

·多源異構(gòu)數(shù)據(jù)采集：針對數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種數(shù)據(jù)源及數(shù)據(jù)類型，需要多種組件及工具進行多源異構(gòu)數(shù)據(jù)集成。

·流批一體化處理：全面運用大數(shù)據(jù)處理技術(shù)，由批處理場景演變?yōu)闀r效性更高的流處理場景，來保證業(yè)務(wù)決策的準確性和高效率，適應(yīng)業(yè)務(wù)快速發(fā)展需要。

·統(tǒng)一運維管理：為使數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新，面向不同場景需要快速構(gòu)建并管理不同架構(gòu)的大數(shù)據(jù)平臺，讓數(shù)據(jù)無縫進行流通、計算、處理及分析利用。

·國產(chǎn)化信創(chuàng)：隨著中國信息技術(shù)應(yīng)用創(chuàng)新產(chǎn)業(yè)（信創(chuàng)）的快速發(fā)展，在積極參與信創(chuàng)產(chǎn)業(yè)發(fā)展的同時，大數(shù)據(jù)技術(shù)信創(chuàng)需求愈發(fā)凸顯。

六大產(chǎn)品優(yōu)勢，快速構(gòu)建大數(shù)據(jù)的分析處理能力

大數(shù)據(jù)業(yè)務(wù)系統(tǒng)作為企業(yè)信息系統(tǒng)的重要組成部分，近些年來亦成為信創(chuàng)的關(guān)注焦點之一。針對私有化部署場景，UCloud推出的一站式智能大數(shù)據(jù)平臺USDP，可靈活構(gòu)建于IDC物理服務(wù)器、云IaaS虛擬化，依托于自研的USDP Manager管理工具，實現(xiàn)對多套大數(shù)據(jù)集群的管理，并可使用戶獨享大數(shù)據(jù)集群。支持開源Hadoop全生態(tài)，進行集群、服務(wù)、監(jiān)控告警、故障診斷等智能化的運維和管理操作，從而協(xié)助用戶輕松構(gòu)建和管理大數(shù)據(jù)業(yè)務(wù)分析處理能力。

隨著USDP在諸多行業(yè)及客戶場景的運用，UCloud以用戶需求為導(dǎo)向，不斷完善產(chǎn)品設(shè)計和迭代更新，全新推出智能大數(shù)據(jù)平臺USDP 3.0，進行一系列功能及大數(shù)據(jù)生態(tài)升級，以更好地服務(wù)用戶的數(shù)據(jù)處理和分析需求。

USDP 3.0具有以下核心能力：

01 Web控制臺，輕松管理大數(shù)據(jù)集群

USDP集中化的管理控制臺，在本次版本發(fā)布中，增加了集群管理視圖功能，該視圖使集群管理員對整個集群的服務(wù)狀態(tài)一目了然；并可采取便捷的管理措施調(diào)整，保證系統(tǒng)的高可用和穩(wěn)定性。

在USDP中，管理員可通過自動化向?qū)У姆绞娇焖偃〉么髷?shù)據(jù)服務(wù)對業(yè)務(wù)的支持；集中化的管理界面中，企業(yè)運營團隊可以便捷地控制和調(diào)整服務(wù)配置和資源分配，以及一鍵開啟/關(guān)閉Kerberos，極大簡化配置和管理的復(fù)雜性；自動化向?qū)еС挚焖俨渴鸺?、擴展集群主機、給集群添加新的大數(shù)據(jù)服務(wù)，擴展服務(wù)實例等操作；結(jié)合預(yù)制的告警模板和自定義告警，使用戶可以清晰掌握集群和集群中所有服務(wù)組件的運行狀況。

02 一鍵開啟或關(guān)閉Kerberos安全模式，為大數(shù)據(jù)服務(wù)的安全保駕護航

數(shù)據(jù)和服務(wù)的安全保障，一直是企業(yè)非常重視的問題。USDP 3.0具備大數(shù)據(jù)服務(wù)安全性保護能力，通過流程化配置，快速開啟對集群服務(wù)的檢測，結(jié)合細粒度的權(quán)限控制能力，使得大數(shù)據(jù)集群服務(wù)及數(shù)據(jù)的安全性整體上得到保護。

在USDP中，支持了向?qū)Щ妥詣踊芾戆踩Ｊ?，通過Kerberos的運用，為集群中的用戶、服務(wù)和主機提供身份認證和授權(quán)管理能力，其強大的安全性和跨平臺支持特性，確保只有經(jīng)過身份驗證的用戶才能訪問受保護的資源，為集群免受未經(jīng)授權(quán)的訪問和攻擊提供了強有力的保護，幫助集群實現(xiàn)高度的安全性和可靠性。集群中的各個組件和服務(wù)（如HDFS、YARN等）可以通過Kerberos進行認證和授權(quán)管理，從而保護數(shù)據(jù)和應(yīng)用程序的安全性。助力企業(yè)提升管理效率和信息安全水平。

03 大數(shù)據(jù)集群平滑升級，為需求升級提供有力支撐

集群的持續(xù)平滑升級能力，是保障用戶基于該平臺構(gòu)建和管理的大數(shù)據(jù)服務(wù)，并獲得持續(xù)維護和升級的重要支撐，平臺及服務(wù)的靈活擴展能力，是應(yīng)對隨業(yè)務(wù)需求不斷變化的架構(gòu)優(yōu)化的迫切需要。

企業(yè)在大數(shù)據(jù)相關(guān)業(yè)務(wù)方面的不斷拓展和深入，數(shù)據(jù)類型變得更加豐富，數(shù)據(jù)量級爆發(fā)式增長，對數(shù)據(jù)處理時效的需求不斷提高。因此，對于企業(yè)前期圍繞數(shù)據(jù)倉庫技術(shù)構(gòu)建的大數(shù)據(jù)平臺系統(tǒng)也帶來了更高要求，亟需進行系統(tǒng)性升級和技術(shù)架構(gòu)拓展，以滿足企業(yè)業(yè)務(wù)持續(xù)發(fā)展的需要。

USDP支持集群的持續(xù)升級和組件特性等持續(xù)拓展。用戶可靈活選擇大數(shù)據(jù)平臺架構(gòu)，無論是數(shù)倉架構(gòu)的優(yōu)化、流式計算的引入，甚至向流批一體架構(gòu)、湖倉一體等架構(gòu)演進，通過USDP都能獲得支撐。

04 配置角色組管理，有效提升資源利用率和管理效率

角色組的功能，是將服務(wù)配置按實例角色類型分配給相應(yīng)的角色組，組中各個角色繼承這個組配置，助力大規(guī)模分布式服務(wù)便捷管理；根據(jù)集群主機環(huán)境、服務(wù)的特殊要求，為不同的主機或服務(wù)自定義分配不同的角色組，從而達到資源利用率和管理效率的有效提升。

05 UDH更新及發(fā)布，多版本可靈活選擇

UCloud大數(shù)據(jù)組件發(fā)行套件，集成了豐富的開源項目，使企業(yè)可靈活構(gòu)建一個功能先進的大數(shù)據(jù)系統(tǒng)；套件提供了強大的自動部署、管理和監(jiān)控工具，便于用戶操作維護大數(shù)據(jù)集群；套件中包含了更多的補丁和功能特性，為分布式大數(shù)據(jù)系統(tǒng)提供穩(wěn)定性和性能保障。本次UDH v3.0.0的發(fā)布中，使其囊括的數(shù)據(jù)采集工具、流批計算引擎、調(diào)度系統(tǒng)、存儲系統(tǒng)等服務(wù)，可全面兼容Hadoop 3.3.4版本生態(tài)。

06 宿主環(huán)境的修復(fù)能力，為運維人員減負

大數(shù)據(jù)集群宿主環(huán)境的修復(fù)及初始化能力，大大簡化了基礎(chǔ)運維在搭建大規(guī)模集群前，所需要進行的繁瑣的基礎(chǔ)設(shè)施環(huán)境準備工作；自動化修復(fù)工具良好的冪等性支持，能有效控制手動運維的出錯概率，極大地降低運維人員的工作量和維護成本，保障了系統(tǒng)穩(wěn)定性、可靠性及安全性。通過工具自動化的能力實現(xiàn)快速部署、配置、升級等復(fù)雜操作，使用戶更加專注于數(shù)據(jù)分析業(yè)務(wù)的推進。

關(guān)鍵應(yīng)用場景

1）離線/實時數(shù)倉架構(gòu)場景

離線數(shù)倉將數(shù)據(jù)從源系統(tǒng)中抽取出來，經(jīng)過清洗、轉(zhuǎn)換和加載（ETL）等步驟，使數(shù)據(jù)按照一定的規(guī)則組織到數(shù)據(jù)倉庫中，再通過報表等方式對數(shù)據(jù)進行分析和挖掘。而離線數(shù)倉所擅長處理的大規(guī)模數(shù)據(jù)能力，卻不可避免的帶來一定的數(shù)據(jù)延遲性，而實時數(shù)倉解決了這一問題。

在實時數(shù)倉中，以實時或近乎實時的方式處理數(shù)據(jù)，將數(shù)據(jù)通過流式處理引擎（例如Kafka、Flink等）實時抽取、清洗、轉(zhuǎn)換和加載到數(shù)據(jù)倉庫中，再通過可視化工具等方式對數(shù)據(jù)進行實時監(jiān)控和分析。基于USDP中豐富的大數(shù)據(jù)技術(shù)的選擇，企業(yè)可根據(jù)自身的發(fā)展需要，靈活搭建并不斷優(yōu)化整合自己的大數(shù)據(jù)平臺架構(gòu)，構(gòu)建適宜的數(shù)倉架構(gòu)場景。

2）流批一體架構(gòu)場景

流批一體架構(gòu)的思想是將流處理和批處理整合在一起，提供更加全面和高效的實時數(shù)據(jù)分析能力。如使用Flink引擎及Kafka消息隊列等引擎和工具的組合架構(gòu)，可以在實時數(shù)據(jù)流中進行復(fù)雜的事件驅(qū)動處理，并兼顧批處理任務(wù)。

依托于Flink引擎提供的豐富的流處理和批處理API，和強大的狀態(tài)管理和容錯能力，使得流批一體架構(gòu)可以更加可靠和高效地處理數(shù)據(jù)。在減少架構(gòu)的復(fù)雜性和維護成本的同時，使企業(yè)達到更加靈活地處理數(shù)據(jù)的目的，并更好地適應(yīng)業(yè)務(wù)需求的變化。而USDP中提供了豐富的大數(shù)據(jù)生態(tài)服務(wù)、工具和框架的支持，能很好幫助企業(yè)構(gòu)建靈活且復(fù)雜的大數(shù)據(jù)處理架構(gòu)。

3）數(shù)據(jù)湖/湖倉一體架構(gòu)場景

在將數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)點深度結(jié)合的“湖倉一體”數(shù)據(jù)架構(gòu)中，以多種格式的數(shù)據(jù)統(tǒng)一存儲為基礎(chǔ)，可很好的避免數(shù)據(jù)冗余和一致性問題；統(tǒng)一高效的數(shù)據(jù)處理和清洗帶給數(shù)據(jù)質(zhì)量和可用性有力保障；在該架構(gòu)的支撐下，企業(yè)可開展如批處理、流處理、實時處理等多種模式的數(shù)據(jù)分析方式，借助SQL查詢分析、OLAP分析、數(shù)據(jù)挖掘、機器學(xué)習(xí)來滿足應(yīng)用的分析需求；通過該架構(gòu)，更有利于企業(yè)實現(xiàn)數(shù)據(jù)的管理和治理，從而提高數(shù)據(jù)的可靠性和可信度。

Hadoop生態(tài)系統(tǒng)、HBase、Hive等存儲框架、Kafka流處理平臺、Presto查詢引擎、Flink/Spark等流/批處理框架、以及Hudi、Iceberg等引擎和存儲格式，正是構(gòu)建湖倉一體架構(gòu)所需要的，USDP可以有效解決這些工具、框架和服務(wù)的相互兼容問題，以及統(tǒng)一的管理和監(jiān)控維護，給企業(yè)帶來豐富且便捷的支持，以滿足企業(yè)對數(shù)據(jù)的各種需求。

落地案例

USDP智能大數(shù)據(jù)平臺的發(fā)布，將致力于幫助企業(yè)快捷構(gòu)建和管理大數(shù)據(jù)業(yè)務(wù)的分析處理能力，提升數(shù)據(jù)分析管理能力，釋放數(shù)據(jù)價值，驅(qū)動業(yè)務(wù)創(chuàng)新。當下USDP大數(shù)據(jù)平臺已在多個行業(yè)客戶案例中落地，基于一站式數(shù)據(jù)處理能力，支撐用戶業(yè)務(wù)創(chuàng)新：

某能源行業(yè)大數(shù)據(jù)系統(tǒng)需要對電力數(shù)據(jù)進行采集和分析，對數(shù)據(jù)的采集頻度、精度及延遲要求較高，對于大數(shù)據(jù)基礎(chǔ)平臺架構(gòu)的穩(wěn)定性和性能要求非常高。UCloud為用戶提供優(yōu)鈦私有云及USDP智能大數(shù)據(jù)平臺，共同承載大數(shù)據(jù)分析處理和數(shù)據(jù)業(yè)務(wù)應(yīng)用。如通過USDP采集耗電數(shù)據(jù)，通過數(shù)據(jù)處理算法，對采集上來的異常數(shù)據(jù)進行修正，實現(xiàn)耗電趨勢分析，在不斷累積的數(shù)據(jù)基礎(chǔ)上，進行數(shù)據(jù)模型訓(xùn)練，實現(xiàn)電量精準預(yù)測。

航天科技某研究所質(zhì)量精益分析系統(tǒng)，基于科研產(chǎn)品研制過程數(shù)據(jù)，通過全鏈路生產(chǎn)數(shù)據(jù)的集成，打通信息鏈，提供產(chǎn)品生產(chǎn)數(shù)字化履歷、質(zhì)量問題復(fù)查、設(shè)計特性分析、可靠性量化評估、產(chǎn)品質(zhì)量狀況異常等業(yè)務(wù)應(yīng)用功能。采用USDP構(gòu)建一站式大數(shù)據(jù)基礎(chǔ)平臺，由源數(shù)據(jù)層、數(shù)據(jù)存儲層及數(shù)據(jù)處理分析層構(gòu)成，進行數(shù)據(jù)集成、接入和預(yù)處理，結(jié)合數(shù)據(jù)分析和展現(xiàn)應(yīng)用層實現(xiàn)數(shù)據(jù)的具體利用，發(fā)揮數(shù)據(jù)價值，提升產(chǎn)品研制的質(zhì)量。

未來，USDP大數(shù)據(jù)團隊將密切關(guān)注并緊跟大數(shù)據(jù)技術(shù)生態(tài)和趨勢，結(jié)合用戶需求和場景提供更多大數(shù)據(jù)場景組件和最佳實踐方案，為企業(yè)提供更多可靠、安全、可擴展的大數(shù)據(jù)分析處理功能。