帶寬利用率提升50%，騰訊云聯(lián)網架構方案解析

導語|企業(yè)A是一家互聯(lián)網公司，當前在云上計算資源已經接近10W核，華東地域專線流量24G+，資源部署以華東為主、華北、華南、西南等可用區(qū)為輔。該企業(yè)屬于典型的混合云架構，本文主要分享企業(yè)A如何通過云聯(lián)網架構優(yōu)化實現帶寬利用率提升50%，希望與大家一同交流。

一、云聯(lián)網背景介紹

1.對等連接概述

對等連接（Peering Connection）是一種大帶寬、高質量的云上資源互通服務，可以幫助打通騰訊云上的資源通信鏈路。對等連接具有多區(qū)域、多賬戶、多種網絡異構互通等特點，支持VPC間互通、VPC和黑石私有網絡互通，滿足不同業(yè)務的部署需求。

2.傳統(tǒng)專線概述

混合云架構前期都是使用傳統(tǒng)的專用通道打通用戶IDC與云上VPC。如果一根物理專線需要打通多個VPC，需要通過不同的VLAN ID分別創(chuàng)建專用通道來連接多個VPC。

3.云聯(lián)網概述

云聯(lián)網（Cloud Connect Network，CCN）為用戶提供云上不同VPC間、VPC與本地數據中心間（IDC）內網互聯(lián)的服務。具備全網多點互聯(lián)、路由自學習、鏈路選優(yōu)及故障快速收斂等能力。

云聯(lián)網覆蓋全球20+地域，支持100+Gbps帶寬以及最高可達99.99%的可用性，為用戶輕松構建極速、穩(wěn)定、安全、靈活的全球互聯(lián)網絡，典型應用場景如下：

·VPC與VPC間高質量內網互聯(lián)：在線教育多個地域的實時音視頻系統(tǒng)、游戲加速多地域內網互聯(lián)、多地域容災架構。

·VPC與IDC間內網全互聯(lián)：一個專用通道打通多個VPC，實現單次接入全網互聯(lián)，如混合云場景。

云聯(lián)網對比對等連接和傳統(tǒng)專線的優(yōu)勢如下圖所示：

下文將從企業(yè)A的實際出發(fā)，介紹企業(yè)A采用騰訊云聯(lián)網的架構優(yōu)化實踐。

二、企業(yè)A架構現狀介紹

1.企業(yè)A混合云背景介紹

企業(yè)A核心業(yè)務位于華東地區(qū)，在上海有兩個VPC，一個自建IDC。在北京、成都、廣州、HK各有一個VPC，其中HK的VPC用于接入海外業(yè)務。

最終通過對等連接以及傳統(tǒng)專線通道實現所有云上VPC與自建IDC的互聯(lián)互通（由于傳統(tǒng)架構互聯(lián)線路較多暫不提供具體拓撲，下文提供了分解拓撲）。

2.公有云VPC通過對等連接互聯(lián)架構

·企業(yè)A上海地域當前是兩個VPC，一個是業(yè)務VPC，另外一個是用于測試的VPC，同地域兩個VPC之間理論上不限制帶寬，除非底層數據中心的DCI互聯(lián)帶寬（DCI互聯(lián)帶寬都是上T級別）被打滿才會導致同地域對等連接丟包；

·企業(yè)A的少量海外業(yè)務通過香港2區(qū)的VPC做接入，再通過100Mbps的對等連接實現打通上海5區(qū)的核心業(yè)務VPC；

·企業(yè)A分布在華東、華北、華南、西南的業(yè)務VPC通過對等連接全互連實現業(yè)務互訪。

3.公有云VPC與自建IDC通過傳統(tǒng)專線互聯(lián)架構

名詞解釋：NGW（底層專線網關集群）、QCAR（網絡設備）、QCPL（網絡設備）IDC（數據中心）。

·企業(yè)A公有云VPC到自建IDC每天峰值總流量24Gbps，正常四條10G專線均分流量為：24Gbps*25%=6Gbps；

·當前企業(yè)A的傳統(tǒng)專線架構是專線1與2、專線3與4相互備份，當專線1故障，那么專線1的流量會轉發(fā)到專線2，所以每條專線的帶寬使用率不建議超過50%；

·由于企業(yè)A業(yè)務快速增長，當前每條專線的帶寬使用率已經達到60%。如果上圖2的專線1故障，就會有12Gbps的流量轉發(fā)到專線2，最終導致專線2帶寬擁塞而丟包影響業(yè)務。

4.當前互聯(lián)架構的挑戰(zhàn)

·公有云VPC之間互通要建立全互連的對等連接，并且每次增加VPC都有增加大量對等連接和路由，最終導致維護成本越來越高；

·跨地域對等連接的底層網關集群故障無法自動切換路由恢復，止損耗時久；

·企業(yè)A自建IDC到騰訊云的四條專線，如何實現中斷任何一條，另外三條專線可用均分故障鏈路的流量，最終通過最低的成本解決丟包問題；

·企業(yè)A有四個公有云VPC需要和自建IDC互通，那么需要四個專線網關，以及16個BGP鄰居和專線通道。后續(xù)每增加一個VPC就會增加四個專線通道，最終導致專線的運維成本增加。

三、云聯(lián)網改造方案介紹

1.公有云VPC通過云聯(lián)網互聯(lián)架構設計

·企業(yè)A所有VPC只需要加入新建云聯(lián)網實例，即可實現相互路由自動學習，無需維護大量對等連接和大量手工添加的路由；

·所有存量VPC以及后續(xù)增量VPC互通的流量都需要通過云聯(lián)網實現，可以將該云聯(lián)網實例看作企業(yè)A的虛擬骨干網；

·多AZ（可用區(qū)）網關集群容災，可用性比對等連接更高；

·跨地域云聯(lián)網網關之間會有撥測，最終選擇最優(yōu)路徑來降低延遲，提升業(yè)務穩(wěn)定性。

2.公有云VPC與自建IDC通過云聯(lián)網互聯(lián)架構設計

名詞解釋：CCNGW（云聯(lián)網類型專線網關）、QCAR（網絡設備）、QCPL（網絡設備）IDC（數據中心）。

·企業(yè)A所有VPC以及四個專線網關都加入同一個云聯(lián)網實例最終實現相互訪問，并且無論幾個VPC和自建IDC互通只需要4個專線通道即可（簡化配置復雜度，簡單可靠）；

·云上VPC路由下一跳是云聯(lián)網，然后通過ECMP（負載均衡）四份流量到4個云聯(lián)網專線網關，最終通道底層路由將流量通過四條物理專線轉發(fā)到自建IDC（邏輯轉發(fā)路徑：VPC---CCN---專線網關---專線---IDC）；

·假設企業(yè)A的物理專線1再次中斷，那么QCPL1無法收到自建IDC的BGP路由。最終通過路由收斂使得云聯(lián)網將流量轉發(fā)給云聯(lián)網專線網關2-4，從而實現任意一條物理專線故障都會將流量均分給其他三條專線；

·在成本不增加的情況下，通過云聯(lián)網的改造將專線帶寬利用率從理論值50%提升到75%實現降本增效。

四、云聯(lián)網改造總結

1.云聯(lián)網改造帶來的實際收益

·企業(yè)A所有云上VPC不必兩兩之間創(chuàng)建對等連接，只需要加入云聯(lián)網即可實現全部的互聯(lián)互通，降低了云上VPC的運維成本；

·企業(yè)A跨地域VPC互通的網關集群實現多AZ容災，提升跨地域互通的可用性；

·企業(yè)A的四條專線峰值總流量24Gbps情況下中斷任意一條都會通過路由收斂自動恢復業(yè)務，不必依賴于被動等待專線修復或者降級其他業(yè)務來恢復，最終提升專線的高可用性；

·企業(yè)A云上VPC與IDC互通只需要創(chuàng)建4個BGP鄰居即可，也不必為每個云上VPC創(chuàng)建專線網關，最終極大降低專線的運維成本。

2.云聯(lián)網改造注意事項

線上業(yè)務改造需要很謹慎，建議前期做好深度調研，比如相關業(yè)務特征，帶寬容量評估，當前架構的梳理，當前架構的缺點，新架構是否解決老架構缺點，各個地域的改造難度，是否可以平穩(wěn)切換到新架構等。

雙方一起確認新架構灰度基本步驟，基本原則是：先灰度測試VPC，然后按VPC業(yè)務量從小到大的順序進行灰度。

未使用過云聯(lián)網的用戶建議先創(chuàng)建測試VPC熟悉云聯(lián)網配置方法，具體可參考文末提供的相關文檔。

真正灰度前拉通騰訊云網絡專家評估新老架構的底層網關路徑差異，網關集群的帶寬容量，底層路徑MTU差異，云聯(lián)網限速算法（截止2020年11月依然存在均分算法和分布式算法兩種，出于帶寬利用率最大化考慮建議分布式算法）等。

每次灰度遷移都需要有明確的變更步驟、驗證步驟、回退步驟，最終來確?；叶软樌瓿伞?/span>

每個賬號云聯(lián)網數量限制5個，每個云聯(lián)網可以綁定的網絡實例（例如VPC就是一個網絡實例）數量限制25個。

云聯(lián)網跨地域帶寬限速方式有兩種，一種是地域出口限速（單地域云聯(lián)網總的出口限速），另外一種是地域間限速（地域A到地域B之間的帶寬限速）。

參考文檔：

[1]測試VPC配置文檔：

https://cloud.tencent.com/document/product/877/18752

[2]對等連接遷移云聯(lián)網配置文檔：

https://cloud.tencent.com/document/product/877/18854

[3]傳統(tǒng)專線網關遷移云聯(lián)網專線網關配置文檔：

https://cloud.tencent.com/document/product/877/31037