案例 | 騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺的邊緣容器化實(shí)踐：打造更高效的工業(yè)互聯(lián)網(wǎng)

騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺基于強(qiáng)大的數(shù)據(jù)、算力、算法與連接能力，并疊加上大量的工業(yè)Know-how,機(jī)理模型與OT技術(shù)，搭建了一套強(qiáng)大的工業(yè)互聯(lián)網(wǎng)平臺架構(gòu)。應(yīng)用和數(shù)據(jù)是企業(yè)的核心資源，如何保證應(yīng)用和數(shù)據(jù)的可靠性、安全性是騰訊WeMake最關(guān)心的問題之一。出于安全考慮，多數(shù)用戶強(qiáng)調(diào)“數(shù)據(jù)落本地”，單靠數(shù)據(jù)中心難以滿足其需求。此外，隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，平臺中大量的智能終端位于網(wǎng)絡(luò)邊緣，集中計算模式不能滿足所有應(yīng)用場景?；谝陨蠁栴}，騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺選用了邊緣容器打造了一套安全高效的工業(yè)互聯(lián)網(wǎng)平臺。

01

什么是邊緣計算

根據(jù)邊緣計算產(chǎn)業(yè)聯(lián)盟的定義，邊緣計算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力的開放平臺，就近提供邊緣智能服務(wù)，滿足行業(yè)在敏捷聯(lián)接、實(shí)時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵需求。邊緣計算將計算、網(wǎng)絡(luò)、存儲、帶寬等能力從云延伸到網(wǎng)絡(luò)邊緣的新型架構(gòu)模式，其能效友好、帶寬充足、延遲低等特性很好地補(bǔ)充了集中化計算模式遇到的問題。目前邊緣計算研究領(lǐng)域主要集中在：計算模型、體系結(jié)構(gòu)、信息安全等方面。

邊緣計算示意圖

02

騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺如何使用TKE Edge邊緣容器服務(wù)？

01 什么是TKE Edge?

TKE Edge是騰訊自研的云原生邊緣計算平臺，它將Kubernetes強(qiáng)大的容器管理能力擴(kuò)展到邊緣計算場景中，針對邊緣計算場景中常見的技術(shù)挑戰(zhàn)提供了解決方案，如：單集群節(jié)點(diǎn)跨地域、云邊網(wǎng)絡(luò)不可靠、邊緣節(jié)點(diǎn)位于NAT網(wǎng)絡(luò)等。這些能力可以讓應(yīng)用很容易地部署到邊緣計算節(jié)點(diǎn)上，并且可靠地運(yùn)行。TKE Edge的核心能力包括：

·支持原生Kubernetes：

無侵入擴(kuò)展原生Kubernetes，添加邊緣計算相關(guān)組件。支持Kubernetes原生工作負(fù)載（Deployment,Statefulset,Daemenest等）；

·邊緣自治：

穩(wěn)定的邊緣端服務(wù)。當(dāng)邊端節(jié)點(diǎn)與云端網(wǎng)絡(luò)不穩(wěn)定或者斷連時，邊緣節(jié)點(diǎn)依舊可以正常運(yùn)行，不影響已經(jīng)部署的邊緣服務(wù)；

·分布式健康檢查：

增強(qiáng)邊緣節(jié)點(diǎn)穩(wěn)定性。根據(jù)自定分組或網(wǎng)絡(luò)拓?fù)鋵吘壒?jié)點(diǎn)進(jìn)行分組，由組內(nèi)邊緣節(jié)點(diǎn)進(jìn)行健康檢查及狀態(tài)投票；

·服務(wù)訪問控制：

提供基于邊緣區(qū)域的服務(wù)訪問控制，使得各個容器服務(wù)間的請求在本機(jī)房或本地域內(nèi)部即可完成(閉環(huán))，避免了服務(wù)跨地域訪問；

·云邊隧道：

支持自建隧道(目前支持TCP,HTTP and HTTPS)打通不同網(wǎng)絡(luò)環(huán)境下的云邊連接問題，實(shí)現(xiàn)對無公網(wǎng)IP邊緣節(jié)點(diǎn)的統(tǒng)一操作和維護(hù)。

TKE Edge架構(gòu)圖

02 騰訊WeMake使用TKE Edge的實(shí)踐

由于技術(shù)架構(gòu)的天然吻合，騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺在TKE Edge項目創(chuàng)立之初，就選擇了其作為邊緣管控平臺。通過使用TKE Edge，將平臺數(shù)據(jù)落到客戶機(jī)房，就近落地，實(shí)現(xiàn)了將客戶數(shù)據(jù)本地化落地和低時延等需求。騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺的Master組件部署在云端，在客戶機(jī)房只需要部署少量的邊緣組件。

在傳統(tǒng)的方式下，對私有化產(chǎn)品進(jìn)行升級時首先需要獲得客戶授權(quán)，運(yùn)維人員需要建立VPN連接，SSH過去，然后下載鏡像，最后再部署驗證，步驟繁多且周期較長。而在使用TKE Edge后，客戶授權(quán)的研發(fā)人員只需在騰訊云Master端頁面下拉選擇升級一個版本號，既可自動對Kubernetes集群和WeMake管理組件進(jìn)行滾動升級，極大地提高了運(yùn)維效率，為以制造業(yè)為例的企業(yè)實(shí)現(xiàn)了降本增效，達(dá)到了節(jié)省成本的目的。

騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺架構(gòu)圖

TKE Edge提供了一種無入侵的方式，給原生Kubernetes集群“賦予”邊緣能力。在工業(yè)云場景下：

·云端跟邊緣端均是通過公網(wǎng)連接，網(wǎng)絡(luò)質(zhì)量不可控，云邊弱網(wǎng)或斷網(wǎng)是一種常態(tài)而不是異常，需要穩(wěn)定的支持。因此，邊緣節(jié)點(diǎn)自治是邊緣計算的一個核心能力。TKE Edge的lite-apiserver是運(yùn)行在邊緣節(jié)點(diǎn)的網(wǎng)關(guān)，節(jié)點(diǎn)上所有的Kubernetes組件和業(yè)務(wù)容器都通過lite-apiserver訪問云端的kube-apiserver，由lite-apiserver對訪問結(jié)果進(jìn)行高效緩存。在云邊斷連的情況下，利用這些緩存對Kubernetes組件和業(yè)務(wù)容器提供服務(wù)，達(dá)到邊緣自治的目的。這個特性大大降低了WeMake工業(yè)互聯(lián)網(wǎng)平臺對穩(wěn)定網(wǎng)絡(luò)質(zhì)量的依賴，給業(yè)務(wù)的開發(fā)和部署帶來極大的便利。

·在原生Kubernetes集群中，如果節(jié)點(diǎn)與master組件長時間斷連，master組件會對該節(jié)點(diǎn)上的業(yè)務(wù)容器進(jìn)行驅(qū)逐。但在邊緣計算場景中，邊緣節(jié)點(diǎn)與云端斷連是一種比較普遍的現(xiàn)象，原有的Kubernetes機(jī)制會導(dǎo)致業(yè)務(wù)容器頻繁重啟和遷移，影響業(yè)務(wù)的用戶體驗。TKE Edge業(yè)內(nèi)首創(chuàng)edge-health分布式節(jié)點(diǎn)健康檢查機(jī)制，同一個區(qū)域內(nèi)的節(jié)點(diǎn)互相探測打分來判斷節(jié)點(diǎn)是否存活，以更加準(zhǔn)確的判斷節(jié)點(diǎn)運(yùn)行狀態(tài)。如果邊緣節(jié)點(diǎn)與云端斷連，但edge-health判斷該節(jié)點(diǎn)運(yùn)行正常，運(yùn)行中的業(yè)務(wù)容器則不會被驅(qū)逐，也沒有新的業(yè)務(wù)容器調(diào)度到該節(jié)點(diǎn)上。有了這種分布式節(jié)點(diǎn)健康檢查機(jī)制，WeMake的業(yè)務(wù)容器不會因為節(jié)點(diǎn)的網(wǎng)絡(luò)問題頻繁遷移，能夠提供長期穩(wěn)定的服務(wù)。

·在云邊協(xié)同的網(wǎng)絡(luò)環(huán)境下，云端的Kubernetes Master組件往往無法直接訪問邊緣節(jié)點(diǎn)。TKE Edge提供了Tunnel打通了云-邊通道，給邊緣容器集群提供Kubernetes原生的運(yùn)維和管理能力（kubectl logs,kubectl exec,監(jiān)控）。WeMake在開發(fā)、運(yùn)維過程中，都可以通過Tunnel在云端查看業(yè)務(wù)容器日志、獲取監(jiān)控Metric等。

03

騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺如何使用TCR實(shí)現(xiàn)容器鏡像加速分發(fā)？

01 什么是容器鏡像服務(wù)TCR？

TCR是騰訊云面向企業(yè)級客戶推出的獨(dú)享云原生制品托管服務(wù)，兼容容器鏡像及Helm Chart，提供全球多地域極速同步能力，同時基于自研P2P共享和鏡像按需掛載技術(shù)，為大規(guī)模容器集群提供了鏡像極速下載，海量容器秒級啟動能力，保障企業(yè)業(yè)務(wù)快速穩(wěn)定迭代。

02 邊緣場景下的鏡像加速

在WeMake工業(yè)互聯(lián)網(wǎng)平臺的邊緣計算場景下，大量的容器副本和超GB級別的容器需要被分發(fā)到不同區(qū)域的邊緣節(jié)點(diǎn)當(dāng)中，會耗費(fèi)大量的時間及公網(wǎng)的流量。為了提升在邊緣計算場景下的容器鏡像發(fā)布的效率、縮減應(yīng)用啟動中鏡像下載的時間，騰訊WeMake工業(yè)互聯(lián)網(wǎng)平臺使用了TKE Edge及企業(yè)級鏡像倉庫服務(wù)TCR聯(lián)合提供的P2P鏡像加速能力。該方案于每個邊緣站點(diǎn)創(chuàng)建了一個P2P網(wǎng)絡(luò)，邊緣站點(diǎn)只需從云端鏡像倉庫拉取一份鏡像，由Proxy和Tracker分別作為該P(yáng)2P網(wǎng)絡(luò)的種子節(jié)點(diǎn)和下載管控，并在每個邊緣節(jié)點(diǎn)部署Agent作為P2P網(wǎng)絡(luò)中的Peer來實(shí)現(xiàn)邊緣站點(diǎn)內(nèi)的鏡像分發(fā)。通過這個方式，鏡像下載的公網(wǎng)流量縮減為原來的1/N，鏡像的下載耗時縮短50%。

邊緣站點(diǎn)示意圖

04

結(jié)語

騰訊Wemake工業(yè)互聯(lián)網(wǎng)平臺以騰訊自研的TKE Edge、鏡像加速、大數(shù)據(jù)、IoT、安全等技術(shù)為底座，開放騰訊二十余年積累的數(shù)字技術(shù)能力，推出面向“研、產(chǎn)、供、銷、服”五大領(lǐng)域的行業(yè)解決方案與服務(wù)，為制造業(yè)數(shù)字化轉(zhuǎn)型提供澎湃動能。