后中臺時代,金融機構(gòu)在批處理計算能力方面差距已不明顯,實時計算將成為銀行錯位競爭的分水嶺。在IBM商業(yè)價值研究院(IBV)最新出品的洞察報告《馬作的盧弓如霹靂》中,IBM咨詢專家提出了“六位一體”的實時計算能力框架,幫助金融機構(gòu)從數(shù)據(jù)采集、傳輸、存儲、計算、服務(wù)和開發(fā)管理六個方面著手構(gòu)建實時計算能力,并給出三大行動建議:繪場景、定工藝、強治理。
數(shù)字化轉(zhuǎn)型要求金融機構(gòu)“換擋加速”
隨著金融行業(yè)數(shù)字化轉(zhuǎn)型的逐步深入,數(shù)據(jù)的時效性對企業(yè)的精細化運營越來越重要。在每天產(chǎn)生的海量數(shù)據(jù)中。如何能以實時或近乎實時的方式挖掘出有價值的信息,對企業(yè)快速做出決策有著重大意義。
此外,隨著實時技術(shù)的成熟和廣泛應(yīng)用,數(shù)據(jù)時效性要求高的業(yè)務(wù)場景不斷涌現(xiàn),當(dāng)前的批處理數(shù)據(jù)架構(gòu)難以應(yīng)對,需要構(gòu)建新一代的實時數(shù)據(jù)架構(gòu)體系以實現(xiàn)“換擋加速”。
實時計算業(yè)務(wù)需求場景舉例
1.在客戶服務(wù)與精準營銷領(lǐng)域:
·通過實時采集客戶的瀏覽、搜索、交易等行為數(shù)據(jù),快速識別客戶需求與偏好,促進完成交易,提升價值與黏性。
2.在反欺詐、反洗錢領(lǐng)域:
·實時算法植入交易流程用于限制可疑交易;
·通過高密度的實時圖計算,秒級計算流動性風(fēng)險覆蓋率(LCR)指標,實時分析流動性的構(gòu)成、變化的原因,開展監(jiān)控預(yù)測。
3.在運營管理領(lǐng)域:
·時效性更高的數(shù)據(jù)統(tǒng)計分析結(jié)果,支持快速業(yè)務(wù)決策。
4.在IT運維領(lǐng)域:
·實時監(jiān)控設(shè)備與系統(tǒng)運行狀態(tài),及時發(fā)出預(yù)警,確保系統(tǒng)正常運行。
金融行業(yè)實時計算面臨三大挑戰(zhàn)
金融企業(yè)已意識到實時計算的重要性,但在實時應(yīng)用場景拓展、實時數(shù)據(jù)架構(gòu)管理、實時數(shù)據(jù)技術(shù)儲備能力等方面,金融機構(gòu)仍面臨較大挑戰(zhàn)。
挑戰(zhàn)一:跨時空、多技術(shù)融合的實時應(yīng)用場景有待拓展
挑戰(zhàn)二:實時數(shù)據(jù)架構(gòu)管理能力有待加強
挑戰(zhàn)三:金融機構(gòu)實時計算技術(shù)儲備能力有待提升
構(gòu)建實時計算“六位一體”能力框架
基于當(dāng)前金融機構(gòu)打造實時計算能力的現(xiàn)狀和發(fā)展要求,結(jié)合IBM的領(lǐng)先實踐,我們提出了實時計算“六位一體”的能力目標框架,從全生命周期管理要求出發(fā),涉及實時數(shù)據(jù)的采集、傳輸、計算、存儲、服務(wù)以及開發(fā)管理的六大能力(見圖1)。
圖1 IBM實時計算“六位一體”能力框架
實時數(shù)據(jù)采集能力:覆蓋客戶端、服務(wù)端、平臺接口等多種來源,以合適的采集方式和技術(shù)手段完成各種場景下的實時數(shù)據(jù)采集。
實時數(shù)據(jù)傳輸與存儲能力:實時數(shù)據(jù)具備時效性、無限性、隨機性、無序性、大量性、變化性等特點,應(yīng)當(dāng)采用多類傳輸與存儲技術(shù),著重關(guān)注數(shù)據(jù)的延遲問題、穩(wěn)定問題和容量問題。
實時數(shù)據(jù)計算能力:首先要對原始實時數(shù)據(jù)進行標準化處理,然后再針對不同的應(yīng)用場景完成數(shù)據(jù)的加工計算。需要不同的技術(shù)實現(xiàn)方式來保障實時數(shù)據(jù)計算過程中的準確性與完整性。
實時數(shù)據(jù)服務(wù)能力:實時數(shù)據(jù)服務(wù)通常只有分鐘級甚至秒級的延遲,需要優(yōu)先考慮服務(wù)的時效性問題,可采用訂閱模式、推送模式和讀取模式等來滿足需求。
實時數(shù)據(jù)開發(fā)管理能力:涉及開發(fā)門檻、開發(fā)易用性、開發(fā)全流程集中度、治理管控集成、全方位運維等內(nèi)容。
某大型商業(yè)銀行打造實時計算能力,助力構(gòu)建獨特競爭優(yōu)勢
某國有大型商業(yè)銀行在應(yīng)對實時業(yè)務(wù)需求過程中,面臨管理和技術(shù)上的雙重挑戰(zhàn)。
基于IBM實時計算能力框架方法論,IBM為該銀行制定了企業(yè)級實時數(shù)據(jù)架構(gòu)技術(shù)標準與管理規(guī)范的解決方案。
首先,規(guī)劃了實時計算總體藍圖,從數(shù)據(jù)采集、存儲、計算、服務(wù)四個方面進行設(shè)計,明確實時線的技術(shù)架構(gòu)和數(shù)據(jù)架構(gòu)。
其次,立足于總體目標,明確需求提出、方案設(shè)計、作業(yè)開發(fā)等環(huán)節(jié)的流程和責(zé)任部門,制定實施方案,統(tǒng)一交互文檔。
最后,針對開發(fā)標準的一致性,統(tǒng)一規(guī)范了存儲命名、標準處理、技術(shù)字段定義、作業(yè)配置等。
該解決方案幫助客戶明晰了實時線的建設(shè)目標和技術(shù)提升方向,在組織職能和流程執(zhí)行層面達成了共識,也提升了應(yīng)用場景的落地效率和質(zhì)量。
實時計算能力建設(shè)方略
金融機構(gòu)應(yīng)當(dāng)如何構(gòu)建實時計算能力?IBM認為,金融機構(gòu)可以遵從以下三大方略:
01 繪場景:
創(chuàng)新應(yīng)用場景,繪制“快人一步”的發(fā)展藍圖
金融機構(gòu)可以結(jié)合十四五戰(zhàn)略發(fā)展規(guī)劃,在消費者實時行為畫像、實時智能產(chǎn)品推薦、企業(yè)資金實時流動監(jiān)測、市場風(fēng)險實時監(jiān)測和異常交易行為實時甄別等領(lǐng)域深度挖掘?qū)崟r計算場景需求,形成企業(yè)級的實時計算場景目標藍圖和實施路線圖。
02 定工藝:
定義中期目標架構(gòu),加快實時計算架構(gòu)研發(fā)
金融機構(gòu)科技開發(fā)團隊?wèi)?yīng)充分考慮數(shù)據(jù)架構(gòu)中期(2~3年)發(fā)展規(guī)劃、離線架構(gòu)現(xiàn)狀、團隊人員能力,參考領(lǐng)先實踐,設(shè)計適用于企業(yè)自身的實時計算架構(gòu),明確數(shù)據(jù)的分層、數(shù)據(jù)流向以及實時線與批處理線數(shù)據(jù)的銜接關(guān)系。梳理職能定位與工作界面,以及上下游各環(huán)節(jié)的流程,培養(yǎng)研發(fā)團隊人員架構(gòu)設(shè)計和技術(shù)能力。
03 強治理:
將實時數(shù)據(jù)納入治理范疇,提升實時數(shù)據(jù)質(zhì)量
金融機構(gòu)業(yè)應(yīng)適時考慮將實時數(shù)據(jù)納入治理范疇。實時數(shù)據(jù)質(zhì)量問題通常屬于事中治理,應(yīng)當(dāng)在實時處理環(huán)節(jié)中針對數(shù)據(jù)格式、字段值進行統(tǒng)一異常檢核,還應(yīng)當(dāng)針對字段數(shù)、字段格式進行檢核,并對于不同的數(shù)據(jù)異常場景進行統(tǒng)一的處理,便于異常問題的溯源。