中臺整合零售:騰訊電商業(yè)務中臺的Serverless架構(gòu)升級

來源: 騰訊云云函數(shù)
作者:王子一 劉傳傳
時間:2022-01-25
13979
零售領域變革不是一個新話題,從電商到O2O,從無人售貨柜到機器人導購,騰訊云的嘗試一直未曾止步。

零售領域變革不是一個新話題,從電商到O2O,從無人售貨柜到機器人導購,騰訊云的嘗試一直未曾止步。對于傳統(tǒng)零售企業(yè)來說,通過數(shù)據(jù)中臺可以讓顧客與需求更好地匹配,同時實現(xiàn)平臺上多觸點獲取流量。而技術(shù)中臺,則可以幫助零售企業(yè)提升整體運營效率,在提高安全性的基礎上,還能享受AI時代帶來的智能化紅利。

談及騰訊電商業(yè)務中臺,騰訊云應用與服務編排工作流ASW的項目負責人王子一認為,“以消費者為中心,實現(xiàn)上下游的產(chǎn)業(yè)協(xié)同,賦能商家,商家一次接入后,可應用于如下全部業(yè)務場景:檢索業(yè)務、廣告業(yè)務、智能廣告投放、商品的下游數(shù)據(jù)需求等等,為海量數(shù)據(jù)的儲存和計算提供更穩(wěn)定安全的高性能中臺”。

01.

中臺整合零售共建經(jīng)濟共同體

電商業(yè)務中臺解決方案提供流程驅(qū)動業(yè)務中臺和數(shù)據(jù)中臺的雙中臺管理,實現(xiàn)商品、庫存、會員等全渠道業(yè)務數(shù)據(jù)的實時在線,進而提高運營效率和庫存周轉(zhuǎn)率,助力業(yè)務快速增長。通過整合上下游資源全局優(yōu)化重構(gòu)產(chǎn)業(yè)鏈條,加速數(shù)字化轉(zhuǎn)型升級。

以騰訊云電商業(yè)務中臺為例,基于云原生打造的高可用、可擴展、靈活配置的商品處理引擎,提供不同行業(yè)商家的商品錄入,商品信息統(tǒng)一加工,商品信息分發(fā)等能力。

640.webp.jpg

(ASW和SCF在騰訊云電商業(yè)務中臺的應用)

騰訊云電商業(yè)務中臺抽象出商品加工的通用能力,自建出一套可復用組件市場,例如圖片處理、自然語言處理、商品信息處理等。商品中臺支持商家商品統(tǒng)一接入、商品基于自建的組件市場進行商品加工、基于ASW工作流搭建定制化配置加工組件、統(tǒng)一存儲的商品數(shù)據(jù)通過商品分發(fā)模塊進行統(tǒng)一分發(fā)。

02.

ASW商品加工編排設計

騰訊云電商業(yè)務中臺依賴騰訊云ASW調(diào)度平臺進行流程配置和管理。應用與服務編排工作流(Application Services Workflow,ASW)是一個用來協(xié)調(diào)分布式任務執(zhí)行的編排產(chǎn)品,根據(jù)騰訊云狀態(tài)機語言定義來編排分布式任務和服務,工作流會按照設定好的順序可靠地協(xié)調(diào)執(zhí)行,將云函數(shù)與多個騰訊云服務按步驟進行調(diào)度,通過低代碼配置,即可完成開發(fā)和運行業(yè)務流程所需要的任務協(xié)調(diào)、狀態(tài)管理以及錯誤處理等繁瑣工作,讓研發(fā)團隊能更簡單、更高效的構(gòu)建與管理工作流應用。

·使用ASW并發(fā)調(diào)用函數(shù)

通過工作流并行調(diào)用云函數(shù),將多個批量計算分布式作業(yè)串聯(lián)或并行編排,大大提高任務處理的吞吐量,可靠地支持執(zhí)行時間長、并發(fā)量大的大規(guī)模計算。

640.webp (1).jpg

(ASW工作流與傳統(tǒng)工作流的對比)

目前ASW支持騰訊云API 3.0上超過99%的接口,支持高并發(fā)場景。同時,ASW工作流原生支持云日志CLS、云監(jiān)控CMS、云告警等成熟云上服務,在可觀測性方面做到業(yè)界領先。

ASW工作流優(yōu)勢:

彈性高并發(fā):工作流并發(fā)調(diào)用云函數(shù)可以快速調(diào)動大量計算資源加速數(shù)據(jù)處理。

自定義流程:ASW工作流可以實現(xiàn)高度自定義的工作流流程,例如數(shù)據(jù)處理流程、數(shù)據(jù)分析算法、數(shù)據(jù)存儲方式。

降低成本:數(shù)據(jù)處理是CPU密集型任務,在ASW工作流及云函數(shù)的資源利用率高的情況下,實現(xiàn)了成本的降低。

提升效率:降低學習和使用成本,極大程度上縮短了項目周期,加快開發(fā)部署。

·使用ASW并行多任務處理

在數(shù)據(jù)處理、多媒體文件處理、商品審核、容器運維管理等系統(tǒng)架構(gòu)中,往往需要并行多路任務處理的場景。例如電商商品審核系統(tǒng),商家每天對商品進行管理更新后,商品數(shù)據(jù)需要通過商品中臺進行一系列的審核操作:如圖片審核、死鏈檢測、商品打標、文本審核、統(tǒng)一類目等環(huán)節(jié)。海量更新的商品數(shù)據(jù)會先投遞到Ckafka,商品中臺需要一個能快速處理大量數(shù)據(jù),高并發(fā)、高吞吐量的數(shù)據(jù)處理流水線。

在數(shù)據(jù)處理流水線中,ASW工作流的并發(fā)能力主要依賴于Parallel節(jié)點與Map節(jié)點。

1643093312(1).png

(ASW訂單數(shù)據(jù)處理流程示意圖)

·Parallel節(jié)點,也稱并行節(jié)點:使用該節(jié)點可以在工作流中創(chuàng)建并行的任務分支,讓多個任務并行執(zhí)行,大大提升了業(yè)務數(shù)據(jù)處理的效率。

·Map節(jié)點,也稱循環(huán)節(jié)點:使用該節(jié)點對數(shù)組中的每一個元素任務計算,且這些元素計算可以并發(fā)執(zhí)行,大大提升了數(shù)據(jù)處理的吞吐量。

03.

ASW+云函數(shù)提高交付效率

業(yè)界常見的云服務編排須要開發(fā)者寫狀態(tài)機表達式,開發(fā)人員要花大量精力解決組件間的代碼邏輯,需要有較強的代碼基礎,開發(fā)難度較大。

通過ASW+云函數(shù)作為粘合劑,可快速搭建一個高效可用、易擴展性的微服務架構(gòu)應用。ASW憑借云平臺和云函數(shù)的特性,可以輕松地無限擴展,具備兼容公有云、自建服務的融合能力。ASW預置了常見的利用模板,一鍵部署,開箱即用,極大地簡化了開發(fā)復雜度。

640.webp (3).jpg

(業(yè)務中臺通用能力調(diào)度編排)

隨著電商業(yè)務的高速發(fā)展,業(yè)務架構(gòu)越來越復雜,通過建立業(yè)務中臺的方式來支持前后臺業(yè)務的快速迭代發(fā)展已成為必然選擇。面對不同零售行業(yè)、不同應用渠道的商品加工邏輯差異,如何做到既跟上業(yè)務小步快跑的迭代速度和效率要求,又同時能夠滿足業(yè)務人員自主管控和自定義加工流程——已成為當前的熱門話題和技術(shù)挑戰(zhàn)之一。而騰訊電商業(yè)務中臺的云原生技術(shù)架構(gòu)設計,恰恰在當前最合適的時機,做了降本增效的前沿探索,為同類架構(gòu)設計提供了借鑒和鋪路,為大家拓展了更多的架構(gòu)設計選擇。

04.

場景拓展:電商零售場景中Serverless應用

1.電商大促等波峰波谷型業(yè)務

每年雙11、618等電商大促期間,零售行業(yè)線上渠道面臨歷史級別的流量挑戰(zhàn),中大型電商平臺的峰值調(diào)用量可達上千萬/分鐘,面臨高于日常10-20倍的流量壓力。日常運營活動中,例如精品秒殺、限時搶購等,電商平臺也同樣面臨大流量高并發(fā)、波峰波谷用戶流量明顯分化的典型場景。云函數(shù)SCF提供彈性、可擴展的基礎設施和護航服務,幫助電商客戶把握業(yè)務增長的機遇,從容應對挑戰(zhàn)。

640.webp (4).jpg

(電商彈性大促架構(gòu)圖)

·瞬時冷啟動

云函數(shù)SCF底層采用自研的輕量級虛擬化技術(shù),Micro Vm啟動時間短至90毫秒,函數(shù)冷啟動減低至200毫秒,并且支持上萬臺計算節(jié)點同時擴容。

·實時擴縮容

基于函數(shù)請求實時計算的模式,動態(tài)的擴縮函數(shù)實例,優(yōu)化函數(shù)冷啟動的體驗問題,以及控制函數(shù)計算的資源成本。

·預置并發(fā)

在秒殺、搶購等場景中,瞬間需要海量的計算資源。云函數(shù)預置并發(fā),可支持并發(fā)實例按配置預先啟動,提前“預熱”函數(shù),為業(yè)務高峰提前準備計算資源,消除冷啟動、降低運行環(huán)境初始化及業(yè)務代碼初始化引起的耗時。

2.靜態(tài)站點

直播帶貨已成為線上零售平臺的標配功能。電商直播中,需要專業(yè)、穩(wěn)定的直播推流、轉(zhuǎn)碼、分發(fā)、播放等服務,滿足超低延遲、超高畫質(zhì)、超大并發(fā)訪問量的要求。在直播結(jié)束后,通常需要對回播視頻進行處理,例如音視頻轉(zhuǎn)碼混流、回播視頻二次分發(fā)和存儲等。相較于自建轉(zhuǎn)碼服務器,云函數(shù)SCF無需考慮轉(zhuǎn)碼服務器閑置時間的利用效率、以及服務器運維等問題。

1643093423(1).png

(云函數(shù)電商直播方案)

·平滑遷移快速上線

支持用戶自定義配置FFmpeg命令參數(shù)、以及部署自建FFmpeg,轉(zhuǎn)碼方式靈活,也可以便捷地從物理機、云主機或容器中移植到云函數(shù)。

·解決算力瓶頸

大規(guī)格實例最高支持128GB/64C進行4K高清視頻轉(zhuǎn)碼,結(jié)合資源彈性伸縮能力,有效保證轉(zhuǎn)碼效率。

·按量計費成本優(yōu)勢

視頻轉(zhuǎn)碼是高運算負荷的CPU密集型業(yè)務,需要對輸入的視頻流進行全解碼、視頻過濾/圖像處理、并對輸出格式進行全編碼。云函數(shù)的1毫秒粒度按用量計費,擁有顯著的成本優(yōu)勢。

3.智能圖片處理等事件驅(qū)動型業(yè)務

在電商平臺上,每天都會有大量商品圖片的查詢請求和更新請求。高峰情況下,每天有千萬級甚至億級的圖片處理需求。傳統(tǒng)方案需要搭建一個在線服務器并部署Web應用來進行圖片處理,程序按照一定規(guī)則定時觸發(fā)事件。

在傳統(tǒng)方案中,主要有三個困擾:

·沒有請求時,空置率較高;

·需要專門維護一套運行處理代碼;

·需要考慮并發(fā)和定時器的執(zhí)行方法,來保障圖片處理的及時性。

而在Serverless架構(gòu)中,云函數(shù)SCF提供圖片裁剪、增加水印等多種處理能力,滿足電商業(yè)務的圖片處理訴求。同時針對圖片處理、存儲的高可用要求,可以支持對象存儲的跨區(qū)域高可用部署。

1643093469(1).png

(云函數(shù)圖像處理方案)

用戶僅需要在云函數(shù)SCF上設置觸發(fā)器+函數(shù),當用戶把圖片上傳到對象存儲中,將會觸發(fā)函數(shù)代碼進行圖片處理,并把圖片轉(zhuǎn)移到新的存儲桶中。整個過程,不需要搭建Web服務器,無需編寫觸發(fā)條件,也無需關注業(yè)務運維。

立即登錄,閱讀全文
版權(quán)說明:
本文內(nèi)容來自于騰訊云云函數(shù),本站不擁有所有權(quán),不承擔相關法律責任。文章內(nèi)容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
掃碼登錄
打開掃一掃, 關注公眾號后即可登錄/注冊
加載中
二維碼已失效 請重試
刷新
賬號登錄/注冊
個人VIP
小程序
快出海小程序
公眾號
快出海公眾號
商務合作
商務合作
投稿采訪
投稿采訪
出海管家
出海管家