中臺整合零售：騰訊電商業(yè)務(wù)中臺的Serverless架構(gòu)升級

零售領(lǐng)域變革不是一個(gè)新話題，從電商到O2O，從無人售貨柜到機(jī)器人導(dǎo)購，騰訊云的嘗試一直未曾止步。對于傳統(tǒng)零售企業(yè)來說，通過數(shù)據(jù)中臺可以讓顧客與需求更好地匹配，同時(shí)實(shí)現(xiàn)平臺上多觸點(diǎn)獲取流量。而技術(shù)中臺，則可以幫助零售企業(yè)提升整體運(yùn)營效率，在提高安全性的基礎(chǔ)上，還能享受AI時(shí)代帶來的智能化紅利。

談及騰訊電商業(yè)務(wù)中臺，騰訊云應(yīng)用與服務(wù)編排工作流ASW的項(xiàng)目負(fù)責(zé)人王子一認(rèn)為，“以消費(fèi)者為中心，實(shí)現(xiàn)上下游的產(chǎn)業(yè)協(xié)同，賦能商家，商家一次接入后，可應(yīng)用于如下全部業(yè)務(wù)場景：檢索業(yè)務(wù)、廣告業(yè)務(wù)、智能廣告投放、商品的下游數(shù)據(jù)需求等等，為海量數(shù)據(jù)的儲存和計(jì)算提供更穩(wěn)定安全的高性能中臺”。

01.

中臺整合零售共建經(jīng)濟(jì)共同體

電商業(yè)務(wù)中臺解決方案提供流程驅(qū)動業(yè)務(wù)中臺和數(shù)據(jù)中臺的雙中臺管理，實(shí)現(xiàn)商品、庫存、會員等全渠道業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)在線，進(jìn)而提高運(yùn)營效率和庫存周轉(zhuǎn)率，助力業(yè)務(wù)快速增長。通過整合上下游資源全局優(yōu)化重構(gòu)產(chǎn)業(yè)鏈條，加速數(shù)字化轉(zhuǎn)型升級。

以騰訊云電商業(yè)務(wù)中臺為例，基于云原生打造的高可用、可擴(kuò)展、靈活配置的商品處理引擎，提供不同行業(yè)商家的商品錄入，商品信息統(tǒng)一加工，商品信息分發(fā)等能力。

（ASW和SCF在騰訊云電商業(yè)務(wù)中臺的應(yīng)用）

騰訊云電商業(yè)務(wù)中臺抽象出商品加工的通用能力，自建出一套可復(fù)用組件市場，例如圖片處理、自然語言處理、商品信息處理等。商品中臺支持商家商品統(tǒng)一接入、商品基于自建的組件市場進(jìn)行商品加工、基于ASW工作流搭建定制化配置加工組件、統(tǒng)一存儲的商品數(shù)據(jù)通過商品分發(fā)模塊進(jìn)行統(tǒng)一分發(fā)。

02.

ASW商品加工編排設(shè)計(jì)

騰訊云電商業(yè)務(wù)中臺依賴騰訊云ASW調(diào)度平臺進(jìn)行流程配置和管理。應(yīng)用與服務(wù)編排工作流（Application Services Workflow，ASW）是一個(gè)用來協(xié)調(diào)分布式任務(wù)執(zhí)行的編排產(chǎn)品，根據(jù)騰訊云狀態(tài)機(jī)語言定義來編排分布式任務(wù)和服務(wù)，工作流會按照設(shè)定好的順序可靠地協(xié)調(diào)執(zhí)行，將云函數(shù)與多個(gè)騰訊云服務(wù)按步驟進(jìn)行調(diào)度，通過低代碼配置，即可完成開發(fā)和運(yùn)行業(yè)務(wù)流程所需要的任務(wù)協(xié)調(diào)、狀態(tài)管理以及錯(cuò)誤處理等繁瑣工作，讓研發(fā)團(tuán)隊(duì)能更簡單、更高效的構(gòu)建與管理工作流應(yīng)用。

·使用ASW并發(fā)調(diào)用函數(shù)

通過工作流并行調(diào)用云函數(shù)，將多個(gè)批量計(jì)算分布式作業(yè)串聯(lián)或并行編排，大大提高任務(wù)處理的吞吐量，可靠地支持執(zhí)行時(shí)間長、并發(fā)量大的大規(guī)模計(jì)算。

（ASW工作流與傳統(tǒng)工作流的對比）

目前ASW支持騰訊云API 3.0上超過99%的接口，支持高并發(fā)場景。同時(shí)，ASW工作流原生支持云日志CLS、云監(jiān)控CMS、云告警等成熟云上服務(wù)，在可觀測性方面做到業(yè)界領(lǐng)先。

ASW工作流優(yōu)勢：

彈性高并發(fā)：工作流并發(fā)調(diào)用云函數(shù)可以快速調(diào)動大量計(jì)算資源加速數(shù)據(jù)處理。

自定義流程：ASW工作流可以實(shí)現(xiàn)高度自定義的工作流流程，例如數(shù)據(jù)處理流程、數(shù)據(jù)分析算法、數(shù)據(jù)存儲方式。

降低成本：數(shù)據(jù)處理是CPU密集型任務(wù)，在ASW工作流及云函數(shù)的資源利用率高的情況下，實(shí)現(xiàn)了成本的降低。

提升效率：降低學(xué)習(xí)和使用成本，極大程度上縮短了項(xiàng)目周期，加快開發(fā)部署。

·使用ASW并行多任務(wù)處理

在數(shù)據(jù)處理、多媒體文件處理、商品審核、容器運(yùn)維管理等系統(tǒng)架構(gòu)中，往往需要并行多路任務(wù)處理的場景。例如電商商品審核系統(tǒng)，商家每天對商品進(jìn)行管理更新后，商品數(shù)據(jù)需要通過商品中臺進(jìn)行一系列的審核操作：如圖片審核、死鏈檢測、商品打標(biāo)、文本審核、統(tǒng)一類目等環(huán)節(jié)。海量更新的商品數(shù)據(jù)會先投遞到Ckafka，商品中臺需要一個(gè)能快速處理大量數(shù)據(jù)，高并發(fā)、高吞吐量的數(shù)據(jù)處理流水線。

在數(shù)據(jù)處理流水線中，ASW工作流的并發(fā)能力主要依賴于Parallel節(jié)點(diǎn)與Map節(jié)點(diǎn)。

（ASW訂單數(shù)據(jù)處理流程示意圖）

·Parallel節(jié)點(diǎn)，也稱并行節(jié)點(diǎn)：使用該節(jié)點(diǎn)可以在工作流中創(chuàng)建并行的任務(wù)分支，讓多個(gè)任務(wù)并行執(zhí)行，大大提升了業(yè)務(wù)數(shù)據(jù)處理的效率。

·Map節(jié)點(diǎn)，也稱循環(huán)節(jié)點(diǎn)：使用該節(jié)點(diǎn)對數(shù)組中的每一個(gè)元素任務(wù)計(jì)算，且這些元素計(jì)算可以并發(fā)執(zhí)行，大大提升了數(shù)據(jù)處理的吞吐量。

03.

ASW+云函數(shù)提高交付效率

業(yè)界常見的云服務(wù)編排須要開發(fā)者寫狀態(tài)機(jī)表達(dá)式，開發(fā)人員要花大量精力解決組件間的代碼邏輯，需要有較強(qiáng)的代碼基礎(chǔ)，開發(fā)難度較大。

通過ASW+云函數(shù)作為粘合劑，可快速搭建一個(gè)高效可用、易擴(kuò)展性的微服務(wù)架構(gòu)應(yīng)用。ASW憑借云平臺和云函數(shù)的特性，可以輕松地?zé)o限擴(kuò)展，具備兼容公有云、自建服務(wù)的融合能力。ASW預(yù)置了常見的利用模板，一鍵部署，開箱即用，極大地簡化了開發(fā)復(fù)雜度。

（業(yè)務(wù)中臺通用能力調(diào)度編排）

隨著電商業(yè)務(wù)的高速發(fā)展，業(yè)務(wù)架構(gòu)越來越復(fù)雜，通過建立業(yè)務(wù)中臺的方式來支持前后臺業(yè)務(wù)的快速迭代發(fā)展已成為必然選擇。面對不同零售行業(yè)、不同應(yīng)用渠道的商品加工邏輯差異，如何做到既跟上業(yè)務(wù)小步快跑的迭代速度和效率要求，又同時(shí)能夠滿足業(yè)務(wù)人員自主管控和自定義加工流程——已成為當(dāng)前的熱門話題和技術(shù)挑戰(zhàn)之一。而騰訊電商業(yè)務(wù)中臺的云原生技術(shù)架構(gòu)設(shè)計(jì)，恰恰在當(dāng)前最合適的時(shí)機(jī)，做了降本增效的前沿探索，為同類架構(gòu)設(shè)計(jì)提供了借鑒和鋪路，為大家拓展了更多的架構(gòu)設(shè)計(jì)選擇。

04.

場景拓展：電商零售場景中Serverless應(yīng)用

1.電商大促等波峰波谷型業(yè)務(wù)

每年雙11、618等電商大促期間，零售行業(yè)線上渠道面臨歷史級別的流量挑戰(zhàn)，中大型電商平臺的峰值調(diào)用量可達(dá)上千萬/分鐘，面臨高于日常10-20倍的流量壓力。日常運(yùn)營活動中，例如精品秒殺、限時(shí)搶購等，電商平臺也同樣面臨大流量高并發(fā)、波峰波谷用戶流量明顯分化的典型場景。云函數(shù)SCF提供彈性、可擴(kuò)展的基礎(chǔ)設(shè)施和護(hù)航服務(wù)，幫助電商客戶把握業(yè)務(wù)增長的機(jī)遇，從容應(yīng)對挑戰(zhàn)。

（電商彈性大促架構(gòu)圖）

·瞬時(shí)冷啟動

云函數(shù)SCF底層采用自研的輕量級虛擬化技術(shù)，Micro Vm啟動時(shí)間短至90毫秒，函數(shù)冷啟動減低至200毫秒，并且支持上萬臺計(jì)算節(jié)點(diǎn)同時(shí)擴(kuò)容。

·實(shí)時(shí)擴(kuò)縮容

基于函數(shù)請求實(shí)時(shí)計(jì)算的模式，動態(tài)的擴(kuò)縮函數(shù)實(shí)例，優(yōu)化函數(shù)冷啟動的體驗(yàn)問題，以及控制函數(shù)計(jì)算的資源成本。

·預(yù)置并發(fā)

在秒殺、搶購等場景中，瞬間需要海量的計(jì)算資源。云函數(shù)預(yù)置并發(fā)，可支持并發(fā)實(shí)例按配置預(yù)先啟動，提前“預(yù)熱”函數(shù)，為業(yè)務(wù)高峰提前準(zhǔn)備計(jì)算資源，消除冷啟動、降低運(yùn)行環(huán)境初始化及業(yè)務(wù)代碼初始化引起的耗時(shí)。

2.靜態(tài)站點(diǎn)

直播帶貨已成為線上零售平臺的標(biāo)配功能。電商直播中，需要專業(yè)、穩(wěn)定的直播推流、轉(zhuǎn)碼、分發(fā)、播放等服務(wù)，滿足超低延遲、超高畫質(zhì)、超大并發(fā)訪問量的要求。在直播結(jié)束后，通常需要對回播視頻進(jìn)行處理，例如音視頻轉(zhuǎn)碼混流、回播視頻二次分發(fā)和存儲等。相較于自建轉(zhuǎn)碼服務(wù)器，云函數(shù)SCF無需考慮轉(zhuǎn)碼服務(wù)器閑置時(shí)間的利用效率、以及服務(wù)器運(yùn)維等問題。

（云函數(shù)電商直播方案）

·平滑遷移快速上線

支持用戶自定義配置FFmpeg命令參數(shù)、以及部署自建FFmpeg，轉(zhuǎn)碼方式靈活，也可以便捷地從物理機(jī)、云主機(jī)或容器中移植到云函數(shù)。

·解決算力瓶頸

大規(guī)格實(shí)例最高支持128GB/64C進(jìn)行4K高清視頻轉(zhuǎn)碼，結(jié)合資源彈性伸縮能力，有效保證轉(zhuǎn)碼效率。

·按量計(jì)費(fèi)成本優(yōu)勢

視頻轉(zhuǎn)碼是高運(yùn)算負(fù)荷的CPU密集型業(yè)務(wù)，需要對輸入的視頻流進(jìn)行全解碼、視頻過濾/圖像處理、并對輸出格式進(jìn)行全編碼。云函數(shù)的1毫秒粒度按用量計(jì)費(fèi)，擁有顯著的成本優(yōu)勢。

3.智能圖片處理等事件驅(qū)動型業(yè)務(wù)

在電商平臺上，每天都會有大量商品圖片的查詢請求和更新請求。高峰情況下，每天有千萬級甚至億級的圖片處理需求。傳統(tǒng)方案需要搭建一個(gè)在線服務(wù)器并部署Web應(yīng)用來進(jìn)行圖片處理，程序按照一定規(guī)則定時(shí)觸發(fā)事件。

在傳統(tǒng)方案中，主要有三個(gè)困擾：

·沒有請求時(shí)，空置率較高；

·需要專門維護(hù)一套運(yùn)行處理代碼；

·需要考慮并發(fā)和定時(shí)器的執(zhí)行方法，來保障圖片處理的及時(shí)性。

而在Serverless架構(gòu)中，云函數(shù)SCF提供圖片裁剪、增加水印等多種處理能力，滿足電商業(yè)務(wù)的圖片處理訴求。同時(shí)針對圖片處理、存儲的高可用要求，可以支持對象存儲的跨區(qū)域高可用部署。

（云函數(shù)圖像處理方案）

用戶僅需要在云函數(shù)SCF上設(shè)置觸發(fā)器+函數(shù)，當(dāng)用戶把圖片上傳到對象存儲中，將會觸發(fā)函數(shù)代碼進(jìn)行圖片處理，并把圖片轉(zhuǎn)移到新的存儲桶中。整個(gè)過程，不需要搭建Web服務(wù)器，無需編寫觸發(fā)條件，也無需關(guān)注業(yè)務(wù)運(yùn)維。