全面解析Google Cloud的云網絡設計

最近看了 18 年 Google 在 NSDI 上一篇介紹 Google Compute Platform 中整體網絡設計的論文。這篇論文從 GCP 面臨的大規(guī)模且變化頻繁的網絡挑戰(zhàn)講起，介紹了控制平面和數據平面的設計和改造。最終做到控制平面可以支撐單個網絡 100000 VM，數據平面以純軟件的方式做到接近物理網絡的性能，吞吐量做到 30Gb/s，單核 pps 做到了300萬。并做到了網絡在線遷移，數據平面可以每周在線升級的高速靈活迭代。

相比于 AWS 所有網絡功能下沉到專門的硬件卡，Azure 使用專門的 FPGA 做網絡加速，GCP 只使用了 Intel 芯片的一些通用 offload 能力（encryption，checksums，memory copies）。流表查詢，數據包轉發(fā)，ACL, LB，NAT 等功能都是純軟件實現的，基本可以認為是當前最大規(guī)模純軟件 SDN 實踐了，當下容器大規(guī)模網絡設計也可以從中借鑒很多思路。

由于 GCP 在主機的數據平面使用的是 OVS，編程模型也用到了 OpenFlow（當然都修改了不少），閱讀的時候免不了會和 OVN 做一下對比。下面會從 GCP 網絡的設計目標，控制平面和數據平面分別進行介紹。

設計目標

該網絡方案在 Google 的項目名為 Andromeda，是仙女座星系的英文。仙女座星系是一個比銀河系還要大的星系，可見這個項目的野心。Andromeda 的主要設計目標有下面幾個：

1、控制平面的可擴展性和隔離性：

由于 GCP 是公有云，控制平面的穩(wěn)定性和可擴展性是重中之重。包括支持單個網絡 100k VM，單個的網絡變更需要在極短時間內同步到整個集群。目前 OVN 在這方面做得就不是很好，當 VM 超過 10k，變更的延遲就到了接近分鐘級別的水平。而 Andromeda 在 100k 規(guī)模的變更延遲是 186ms。

控制平面的隔離性指的是對多租戶的支持，避免單個租戶的異常行為對其他租戶的擾動。例如在某些機器學習場景下單個網絡可能會瞬時 provision 10k VM，其他租戶的網絡操作不能因為這個租戶的突發(fā)請求而受到影響。

2. 數據平面的高性能和隔離：

數據平面的高吞吐和低延遲，同時要考慮多租戶的場景避免一個租戶搶占其他租戶的網絡帶寬和其他資源。

3. 可高速迭代：

控制平面的可擴展性，數據平面的高性能以及多租戶的隔離這幾方面的需求是比較顯而易見的。不過可高速迭代這個目標卻是我讀論文之前沒想到的一個點。一般認為網絡組建作為基礎設施迭代周期會比較長，升級復雜度也會比較高。但是在 GCP 里數據平面可以做到每周進行線上更新，這樣開發(fā)者可以快速的迭代功能和性能優(yōu)化，充分發(fā)揮了 SDN 的優(yōu)勢。作者在 presentation 上也提到不采用更多硬件加速方案的主要原因就是硬件無法做到純軟件網絡的高速迭代。

下面將介紹控制平面和數據平面分別是如何設計來滿足這些目標的。

控制平面

控制平面最重要的工作是把整個虛擬網絡的拓撲規(guī)則下發(fā)給集群里的機器，可以理解為給每個機器一個地址簿，告知每一個 VM 的對應物理機是哪個，應該通過哪條路徑找到對應的 VM。傳統(tǒng)的控制平面數據下發(fā)有 Preprogrammed ， On Demand 和 Gateway 三種方式。

1、Preprogrammed Model：

這種模型在我的概念中對應的是 full-mesh 模型。即每個宿主機節(jié)點都需要保存完整的集群網絡拓撲，構建完整的轉發(fā)地址簿。OVN 目前采用的就是這種方式，集群中的每個節(jié)點之間都需要相互建立隧道，所有跨主機 VM 的數據包都是直接通過對應隧道發(fā)送到對端機器。這種方式的好處就是邏輯清晰明了，實現也相對簡單。所有數據包都是分布式處理的，集群中的節(jié)點角色也很單純。由于數據包直接發(fā)送到目標機器，沒有額外的中轉，理論上數據平面的性能也最好。缺點就是任何一個網絡變更都需要更新所有節(jié)點的流表， 更新的延遲會隨著規(guī)模變大而迅速上升。此外每臺機器都要維護全局的路由信息，額外的資源消耗也會隨著規(guī)模變大而增加。

2、On Demand Model:

這種模式下本機不保存全局信息，每個flow的第一個包要上傳到控制器，控制器返回對應的路由信息。這種模式的擴展性比第一種要好，但是首包的延遲時間會顯著上升。并且控制器成為了網絡的一個瓶頸，控制器的故障可能會導致整個網絡的中斷。此外惡意的租戶可能會利用這個機制生成大量的隨機訪問，對控制器進行 DDOS 攻擊來影響其他租戶的網絡質量。

3、Gateway Model：

只是一種在 OpenStack 中比較常見的網絡模式，即使用專門的網絡節(jié)點來處理數據包的路由。這種模式下宿主機端的邏輯大幅簡化了，只需要知道關聯(lián)的 Gateway 節(jié)點把所有數據包都轉給 Gateway 節(jié)點就可以了。Gateway 專門用來處理相應的路由更新邏輯。但是缺點是要消耗額外的資源，在不超售的情況下需要額外付出一倍的網絡資源來處理網絡數據。即使是進行了超賣，由于網絡流量的變化會十分劇烈可能會有上百倍的波動，如何動態(tài)調度 Gateway 節(jié)點保證帶寬也是很困難的事情。

可以說這三種模式都有各自的問題，GCP 采用了一種結合 Gateway 和 On Demand 的動態(tài)路由卸載模式，并稱其為 Hoverboard 模式。這種動態(tài)路由卸載模式是基于網絡流量模式幾個統(tǒng)計學的發(fā)現：

83% 的 VM 之間從來沒有網絡通信；

98% 的 VM 之間的網絡吞吐量峰值小于 20kbps；

也就是說網絡的流量分布存在著明顯的冷熱不均，絕大多數的流量只出現在極少數的 VM 之間。經過計算可以得出 2% 的 VM 之間網絡通信占據了 99.5% 的網絡帶寬。也就是說和 full mesh 模式相比，只需要本機保留五十分之一的路由地址簿就可以處理絕大多數的請求。而我們要做的就是找出那些熱點的 flow 將規(guī)則加載到宿主機實現直接轉發(fā)，而將那些長尾的基本沒有流量的 flow 放在 Gateway 上來處理，減小宿主機的規(guī)則條數。

具體的處理流程如上圖所示，VM x 到 z 的流量最初都是通過 hoverboard 這個特殊的 Gateway 進行轉發(fā)。在這個過程中宿主機會定期向 VM Controller 上報流量統(tǒng)計信息，Controller 以 20kbps 作為閾值，考慮是否將對應路徑的流表下發(fā)到主機。一旦 x 到 z 的流表下發(fā)到主機，x 和 z 就可以直接通信而不經過 hoverboard。

這種模式很巧妙的解決了之前提到三種模式的問題。相比 full-mesh 模式大幅降低了主機流表的規(guī)模，可擴展性得到了提升。相比 On Demand 模式降低了首包的延遲和控制器的壓力。相比 Gateway 模式降低了額外的網絡資源開銷也提升了 Gateway 的處理能力。

數據平面

論文里主要介紹的是 On HOST Datapath，也就是基于 OVS 的性能優(yōu)化，其實我比較感興趣的是 hoverboard 里怎么對長尾流量進行優(yōu)化的，但是論文中沒有介紹。

數據平面的很多工作和 OVS-DPDK 做的類似，例如 Userspace Datapath，Busy Polling，無鎖隊列，無系統(tǒng)調用，Hugepage，Batch Processing 等等。比較有特點的是在 HOST Datapath 中，依然采用了冷熱分離的兩個 Datapath 進行數據處理。

在 OVN 中所有的數據處理邏輯包括轉發(fā)，acl，nat，lb，arp reply，dns，dhcp 都是通過一套流表組成的 pipeline 來完成的，好處是邏輯統(tǒng)一，缺點就是很難針對性的進行優(yōu)化。這其中轉發(fā)是最常見也是最關鍵的處理操作，而和其他功能混在一起來實現會拖慢轉發(fā)的性能。

GCP 中的做法是分成 Fast Path 和 Coprocessor Path。Fast Path 中只處理轉發(fā)的操作，用到了上面所說的和 OVS-DPDK 類似的所有比較極端的優(yōu)化手段，做到了一個數據包平均只需要 300ns 進行處理就可以完成從 VM 網卡到物理網卡的操作。同時由于功能極為簡單，flow table 的查詢更新也變得簡單，無需像開源的 ovs 那樣需要考慮遍歷所有元組才能查詢到規(guī)則。

而 Coprocessor Path 則沒有這么高的性能要求可以做一些更復雜的功能和邏輯，這樣可以將復雜的網絡功能和簡單的轉發(fā)功能解耦，利于復雜網絡功能的迭代，同時避免對整體性能產生大的影響。

Fast Path 和 Coprocessor 之間的交互類似流表和 ovn-controller 之間的交互。對于特定的數據包在 Fast Path 中插入一條上傳給 Coprocessor 的規(guī)則，Coprocessor 處理完后再交還給 Fast Path 進行處理。

論文中還介紹到了數據平面的在線遷移，由于是純軟件的實現，可以做到在升級過程中同時運行新舊兩個數據平面，舊的數據不斷的往新的遷移，然后在某個時間點進行切換，這中間暫停服務的時間大約有 270ms。通過這種方式他們做到了數據平面每周更新的高速迭代。

聽說阿里云的網絡部分現在也已經是硬件實現的了，這么大規(guī)模集群的純軟實現已經很少見了?？礃幼?Google 工程師對軟實現在工程方面高速迭代的能力還是十分熱衷的。不過這個論文在 presentation 的同期， Azure 也展示了他們用 FPGA 實現的數據平面，也可以通過編程的方式實現網絡功能的快速迭代。此外 Azure 還很心機的做了個和 GCP 的性能測試比較來展示 Azure 在性能上的優(yōu)勢。不知道 GCP 的純軟線路還能堅持多久，畢竟從規(guī)模效應上來看，硬件方案性能好還能省 CPU 整體的性價比還是不錯的。

再回過頭來和 OVN 做個整體對比。GCP 最大的特點就是在控制平面和數據平面各個層次都做了冷熱分離，盡可能的優(yōu)化常用路徑的性能。而這種做法在實現上就會導致不同的情況下要用不同的方案，整體的實現會比較分散，但是針對單個公司的場景下能榨取盡可能多的性能。

而 OVN 為了保證整體架構的一致和邏輯的統(tǒng)一，沒有這么碎的冷熱分離和 On Demand 方案，通用性會更好，但是在大規(guī)模場景下會碰到性能瓶頸問題。當然 OVN 社區(qū)目前也在控制平面做了大量的性能優(yōu)化，包括各種緩存和增量式更新，降低單個網絡變更的消耗，目測 20.03 后的下一個版本還會有很大改善。而數據平面看上去在一些技術使用上和 OVS-DPDK 的技術是一致的，不過 GCP 這種冷熱分離，在線遷移的靈活性設計，在工程上還是很值得借鑒的。當然這兩年又出現了更多的新方案，例如 FPGA 加速，各種智能網卡和 eBPF 的 Kernel Bypass 方案，都給數據平面的加速提供了更多的選擇方案。

參考資料：

https://www.usenix.org/conference/nsdi18/presentation/dalton

https://www.usenix.org/conference/nsdi18/presentation/firestone

GCP網絡系統(tǒng)Andromeda https://zhuanlan.zhihu.com/p/102951479