Cloudflare全球連通云背后的骨干網(wǎng)

“云”一詞的現(xiàn)代用法可以追溯到云圖標(biāo)，幾十年來在網(wǎng)絡(luò)圖譜中無處不在。云被用來表示提供網(wǎng)絡(luò)或互聯(lián)網(wǎng)服務(wù)所需的龐大而復(fù)雜的基礎(chǔ)設(shè)施組件，而無需深入了解底層的復(fù)雜性。在Cloudflare，我們通過以用戶友好且易于使用的方式提供關(guān)鍵基礎(chǔ)設(shè)施解決方案來體現(xiàn)這一原則。我們的徽標(biāo)采用云符號，反映了我們?yōu)樗杏脩艉喕ヂ?lián)網(wǎng)基礎(chǔ)設(shè)施復(fù)雜性的承諾。

今天這篇文章旨在與大家分享我們基礎(chǔ)設(shè)施的最新情況，會重點介紹2024年的全球骨干網(wǎng)，并強調(diào)了它為我們的客戶帶來的好處、我們在市場上的競爭優(yōu)勢以及對我們幫助構(gòu)建更好的互聯(lián)網(wǎng)這一使命的影響。自2021年我們發(fā)布上一篇與骨干網(wǎng)相關(guān)的博文以來，我們已將骨干網(wǎng)容量（Tbps）提高了500%以上，為所有客戶解鎖了新的用例以及顯著的可靠性和性能優(yōu)勢。

Cloudflare基礎(chǔ)設(shè)施快照

截至2024年7月，Cloudflare在120多個國家/地區(qū)的330個城市設(shè)有數(shù)據(jù)中心，每個數(shù)據(jù)中心都運行Cloudflare設(shè)備和服務(wù)。盡管這些數(shù)據(jù)中心的服務(wù)器數(shù)量和計算能力各不相同，但向各地提供Cloudflare產(chǎn)品和服務(wù)的目標(biāo)始終如一。

這些數(shù)據(jù)中心戰(zhàn)略性地分布在全球各地，以確保我們的業(yè)務(wù)覆蓋所有主要地區(qū)，并幫助我們的客戶遵守當(dāng)?shù)胤ㄒ?guī)。這是一個可編程的智能網(wǎng)絡(luò)，您的流量會盡可能傳輸?shù)阶罴训臄?shù)據(jù)中心進(jìn)行處理。這種可編程性讓我們能夠使用我們的數(shù)據(jù)本地化套件解決方案將敏感數(shù)據(jù)保持在區(qū)域范圍內(nèi)，并遵守客戶根據(jù)自身需要所施加的限制。我們網(wǎng)絡(luò)的作用是連接這些站點，并與客戶、公共云、合作伙伴和更廣泛的互聯(lián)網(wǎng)交換數(shù)據(jù)，這一切由我們的基礎(chǔ)設(shè)施工程和網(wǎng)絡(luò)戰(zhàn)略團(tuán)隊進(jìn)行管理。這個網(wǎng)絡(luò)為我們的產(chǎn)品奠定了基礎(chǔ)，使我們的產(chǎn)品速度快如閃電，確保每個客戶所請求的全球可靠性和安全性，并幫助客戶遵守數(shù)據(jù)主權(quán)要求。

流量交換方式

互聯(lián)網(wǎng)是不同網(wǎng)絡(luò)和獨立自治系統(tǒng)的互連，它們通過相互交換數(shù)據(jù)來運行。交換數(shù)據(jù)的方式有多種，但為了簡單起見，我們將重點介紹這些網(wǎng)絡(luò)通信的兩種主要方法：對等互連和IP傳輸。為了更好地了解我們?nèi)蚬歉删W(wǎng)的優(yōu)勢，了解我們在網(wǎng)絡(luò)中使用的這些基本連接解決方案會有所幫助。

1.對等互連：管理上獨立的互聯(lián)網(wǎng)網(wǎng)絡(luò)之間自愿互連，允許每個網(wǎng)絡(luò)的用戶之間進(jìn)行流量交換，這稱為“對等互連”。Cloudflare是全球?qū)Φ然ミB最多的網(wǎng)絡(luò)之一。我們與330個城市的ISP和其他網(wǎng)絡(luò)以及所有主要互聯(lián)網(wǎng)交換中心（IX）簽訂了對等互連協(xié)議。感興趣的各方可以隨時注冊，以與我們建立對等互連，或通過專用網(wǎng)絡(luò)互連（PNI）方式直接連接到我們的網(wǎng)絡(luò)。

2.IP傳輸：一種付費服務(wù)，允許流量穿越或“傳輸”他人的網(wǎng)絡(luò)，通常將較小的互聯(lián)網(wǎng)服務(wù)提供商（ISP）連接到較大的互聯(lián)網(wǎng)。可以將其想象為支付通行費以駕車進(jìn)入私人高速公路。

骨干網(wǎng)是一種專用的高容量光纖網(wǎng)絡(luò)，用于在Cloudflare的全球數(shù)據(jù)中心之間傳輸流量，在這些數(shù)據(jù)中心之間，我們使用上述流量交換方法與其他網(wǎng)絡(luò)互連。它使數(shù)據(jù)傳輸比通過公共互聯(lián)網(wǎng)傳輸更可靠。對于城市內(nèi)的連接和長距離連接，我們管理自己的暗光纖或租用使用密集波分復(fù)用（DWDM）的波長。DWDM是一種光纖技術(shù)，它通過在同一根光纖內(nèi)以不同波長的光同時傳輸多個數(shù)據(jù)流來增強網(wǎng)絡(luò)容量。這就像擁有一條有多條車道的高速公路，可以讓更多的汽車在同一條高速公路上行駛。我們從世界各地的全球運營商合作伙伴那里購買和租用這些服務(wù)。

骨干網(wǎng)的運營和好處

運營全球骨干網(wǎng)極具挑戰(zhàn)性，這也是許多競爭對手不這么做的原因。我們接受這一挑戰(zhàn)有兩個主要原因：流量路由控制和成本效益。

對于IP傳輸，我們依賴傳輸合作伙伴將流量從Cloudflare傳輸?shù)阶罱K目標(biāo)網(wǎng)絡(luò)，從而引入了不必要的第三方依賴。相比之下，我們的骨干網(wǎng)讓我們能夠完全控制內(nèi)部和外部流量的路由，使我們能夠更有效地管理流量。這種控制至關(guān)重要，因為它讓我們能夠優(yōu)化流量路由，通?？蓪崿F(xiàn)最低延遲路徑，如前所述。此外，通過骨干網(wǎng)處理大量流量的成本平均比IP傳輸更具成本效益。這就是為什么我們在法蘭克福、倫敦、阿姆斯特丹、巴黎和馬賽等地區(qū)加倍增加骨干網(wǎng)容量的原因，這些地區(qū)的流量持續(xù)增長，連接解決方案廣泛可用且價格具有競爭力。

我們的骨干網(wǎng)服務(wù)于內(nèi)部和外部流量。內(nèi)部流量包括使用我們的安全或性能產(chǎn)品的客戶流量，以及來自在我們的數(shù)據(jù)中心之間轉(zhuǎn)移數(shù)據(jù)的Cloudflare內(nèi)部系統(tǒng)的流量。例如，分層緩存通過將我們的數(shù)據(jù)中心劃分為下層和上層的層次結(jié)構(gòu)來優(yōu)化我們的緩存交付。如果下層數(shù)據(jù)中心沒有內(nèi)容，它們會從上層請求。如果上層也沒有，它們會從源服務(wù)器請求。此過程減少了源服務(wù)器請求并提高了緩存效率?？紤]到我們網(wǎng)絡(luò)的規(guī)模，使用我們的骨干網(wǎng)在下層和上層數(shù)據(jù)中心與源服務(wù)器之間傳輸緩存內(nèi)容通常是最具成本效益的方法。另一個例子是Magic Transit，我們通過BGP Anycast將流量吸引到最靠近最終用戶的Cloudflare數(shù)據(jù)中心并實施我們的DDoS解決方案。我們的骨干網(wǎng)將干凈的流量傳輸?shù)轿覀兛蛻舻臄?shù)據(jù)中心，他們通過Cloudflare網(wǎng)絡(luò)互連（CNI）連接該數(shù)據(jù)中心。

我們在骨干網(wǎng)上傳輸?shù)耐獠苛髁靠梢允莵碜云渌刺峁┥痰牧髁?，例如AWS、Oracle、阿里巴巴、Google Cloud Platform或Azure等。來自這些云提供商的源站響應(yīng)通過對等互連點和我們的骨干網(wǎng)傳輸?shù)骄嚯x客戶最近的Cloudflare數(shù)據(jù)中心。通過利用我們的骨干網(wǎng)，我們可以更好地控制如何在整個網(wǎng)絡(luò)中回傳這些流量，從而提高可靠性和性能，減少對公共互聯(lián)網(wǎng)的依賴。

我們的全球連通云就是公共云、辦公室和互聯(lián)網(wǎng)之間的互連，并在我們的全球骨干網(wǎng)上運行針對性能、安全性、可編程性和可見性的受控層。

這張地圖是我們目前骨干網(wǎng)絡(luò)的簡化圖，并沒有顯示所有路徑

擴展我們的網(wǎng)絡(luò)

正如前言中所述，自2021年以來，我們的骨干網(wǎng)容量（Tbps）增加了500%以上。隨著非洲海底電纜容量的增加，我們在2023年完成了全球骨干環(huán)，實現(xiàn)了一個重大里程碑。它現(xiàn)在通過陸地光纖和海底電纜覆蓋六大洲。

與中歐或美國相比，有些市場的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施較不發(fā)達(dá)，在這些地區(qū)建設(shè)骨干網(wǎng)是我們最近網(wǎng)絡(luò)擴張的關(guān)鍵戰(zhàn)略。我們與地區(qū)ISP合作伙伴有一個共同的目標(biāo)，那就是將數(shù)據(jù)流本地化，并盡可能靠近最終用戶。由于缺乏足夠的本地對等互連和區(qū)域基礎(chǔ)設(shè)施，流量通常會在區(qū)域外采用效率低下的路線。當(dāng)數(shù)據(jù)通過更具成本效益的國際路線和現(xiàn)有的對等互連協(xié)議進(jìn)行路由時，就會發(fā)生這種現(xiàn)象，稱為流量長號效應(yīng)。

我們在印度或土耳其等國家/地區(qū)的區(qū)域骨干網(wǎng)投資旨在減少對這種低效路由的需求。借助我們自己的區(qū)域內(nèi)骨干網(wǎng)，流量可以直接在同一個國家/地區(qū)內(nèi)的Cloudflare數(shù)據(jù)中心之間路由，例如從孟買到新德里再到金奈，從而減少延遲、提高可靠性，并幫助我們提供與更發(fā)達(dá)市場相同水平的服務(wù)質(zhì)量。我們可以將數(shù)據(jù)保持在本地，支持我們的數(shù)據(jù)本地化套件（DLS），其通過控制數(shù)據(jù)存儲和處理的位置來幫助企業(yè)遵守區(qū)域數(shù)據(jù)隱私法。

改善延遲和性能

此次戰(zhàn)略擴張不僅擴大了我們的全球覆蓋范圍，還顯著改善了我們的整體延遲。其中一個例子就是，自從我們在里斯本和約翰內(nèi)斯堡之間部署骨干網(wǎng)以來，我們看到約翰內(nèi)斯堡用戶的性能得到了顯著改善。諸多客戶可以從這種延遲改善中受益，例如通過我們運行API進(jìn)行實時交易的金融機構(gòu)，其中毫秒級的誤差就可能影響交易；或者是我們的Magic WAN用戶，我們促進(jìn)了他們分支機構(gòu)之間的站點到站點連接。

上表顯示了一個示例，我們測量了從約翰內(nèi)斯堡的最終用戶到各個源位置的非緩存源提取的往返時間（RTT），對我們的骨干網(wǎng)和公共互聯(lián)網(wǎng)的情況進(jìn)行了比較。通過在我們的骨干網(wǎng)上傳輸源請求，而不是使用IP傳輸或?qū)Φ然ミB，約翰內(nèi)斯堡的本地用戶獲取內(nèi)容的速度提高了22%。通過使用我們自己的骨干網(wǎng)將流量長途傳輸?shù)阶罱K目的地，我們可以完全控制路徑和性能。這種延遲的改善因地點而異，但始終表明我們的骨干網(wǎng)基礎(chǔ)設(shè)施在提供高性能連接方面具有優(yōu)勢。

流量控制

想象一下，一個導(dǎo)航系統(tǒng)，它使用GPS來識別路線，同時使用高速公路收費通行證，在到達(dá)最終目的地之前始終有效，您可以直行通過收費站而無需停車。我們的骨干網(wǎng)工作原理與此非常相似。

我們的全球骨干網(wǎng)建立在兩個關(guān)鍵支柱之上。第一個是BGP（邊界網(wǎng)關(guān)協(xié)議），即互聯(lián)網(wǎng)的路由協(xié)議；第二個是分段路由MPLS（多協(xié)議標(biāo)簽交換），這是一種在IP網(wǎng)絡(luò)中跨預(yù)定義轉(zhuǎn)發(fā)路徑引導(dǎo)流量的技術(shù)。默認(rèn)情況下，分段路由提供從入口到出口路由器的端到端封裝，中間節(jié)點不執(zhí)行路由查找。它們通過端到端虛擬電路或隧道（稱為標(biāo)簽交換路徑）轉(zhuǎn)發(fā)流量。一旦流量進(jìn)入標(biāo)簽交換路徑，它就不能繞道進(jìn)入公共互聯(lián)網(wǎng)，而必須繼續(xù)沿著Cloudflare骨干網(wǎng)的預(yù)定路由傳輸。這并不是什么新鮮事，因為許多網(wǎng)絡(luò)甚至?xí)\行“BGP免費核心”，其中所有路由情報都在網(wǎng)絡(luò)邊緣傳輸，中間節(jié)點只參與從入口到出口的轉(zhuǎn)發(fā)。

在骨干網(wǎng)中利用分段路由流量工程（SR-TE）時，我們可以自動選擇數(shù)據(jù)中心之間針對延遲和性能進(jìn)行優(yōu)化的路徑。有時，就路由協(xié)議成本而言的“最短路徑”并不是延遲最低或性能最高的路徑。

增加動力：Argo和全球骨干網(wǎng)

Argo Smart Routing是一項服務(wù)，它使用Cloudflare的骨干網(wǎng)、傳輸和對等互連組合來查找用戶請求所在的數(shù)據(jù)中心和后端源服務(wù)器之間的最優(yōu)路徑。如果可以提高性能，Argo可能會在前往源服務(wù)器的途中將請求從一個Cloudflare數(shù)據(jù)中心轉(zhuǎn)發(fā)到另一個數(shù)據(jù)中心。Orpheus是Argo的對應(yīng)產(chǎn)品，它免費為所有客戶源請求繞過降級路徑。Orpheus能夠?qū)崟r分析網(wǎng)絡(luò)狀況并主動避免可達(dá)性故障。啟用Argo的客戶在處理從Cloudflare數(shù)據(jù)中心到其源服務(wù)器的請求時可以獲得最佳性能，而Orpheus則為所有客戶提供普遍的錯誤自我修復(fù)。通過將使用分段路由的全球骨干網(wǎng)作為底層，將Argo Smart Routing和Orpheus作為連接覆蓋層，將二者結(jié)合起來，我們能夠沿著我們可用的最優(yōu)化路徑傳輸關(guān)鍵客戶流量。

那么我們的全球骨干網(wǎng)與Argo Smart Routing究竟是如何配合的呢？Argo Transit Selection是Argo Smart Routing的擴展，其中明確選擇Cloudflare數(shù)據(jù)中心躍點之間的最低延遲路徑并用于轉(zhuǎn)發(fā)客戶源請求。最低延遲路徑通常是我們的全球骨干網(wǎng)，因為與第三方傳輸網(wǎng)絡(luò)相比，它是一種更為專用、更私密的連接方式。

假設(shè)一家跨國的荷蘭制藥公司依靠Cloudflare的網(wǎng)絡(luò)和服務(wù)以及我們的SASE解決方案來連接其全球分公司、研究中心和遠(yuǎn)程員工。其亞洲分公司依靠Cloudflare的安全解決方案和網(wǎng)絡(luò)，從亞洲分公司安全訪問中央數(shù)據(jù)中心的重要數(shù)據(jù)。如果區(qū)域間電纜中斷，我們的網(wǎng)絡(luò)會自動尋找最佳的替代路線，從而將業(yè)務(wù)影響降到最低。

Argo會衡量不同提供商路徑（包括我們自己的骨干網(wǎng)）的每種潛在組合，作為使用智能路由到達(dá)源站的一種選擇。由于我們與眾多網(wǎng)絡(luò)的廣泛互連以及我們的全球?qū)Ｓ霉歉删W(wǎng)，Argo能夠識別出請求性能最高的網(wǎng)絡(luò)路徑。骨干網(wǎng)始終是Argo可從中選擇的最低延遲路徑之一。

除了高性能之外，我們還非常關(guān)心客戶的網(wǎng)絡(luò)可靠性。這意味著我們需要盡可能地抵御光纖切斷和第三方傳輸提供商的問題。下圖是在AAE-1（亞非歐1號）海底電纜中斷期間，Argo在新加坡和阿姆斯特丹之間看到的部分傳輸提供商路徑與骨干網(wǎng)的對比情況。

較大的（紫線）峰值表明，由于擁塞，我們的第三方IP傳輸提供商路徑之一的延遲增加，該問題最終通過提供商網(wǎng)絡(luò)內(nèi)的流量工程得到解決?？梢钥吹剑c其他傳輸網(wǎng)絡(luò)相比，有一家提供商的延遲增加較?。S線），但仍然很明顯。圖表底部（綠線）是我們的骨干網(wǎng)，由于我們在亞洲和歐洲之間擁有多樣化的骨干網(wǎng)連接，因此在整個事件期間往返時間基本保持不變。在整個光纖中斷期間，阿姆斯特丹和新加坡之間的延遲保持穩(wěn)定在200毫秒左右。沒有像傳輸提供商路徑上那樣出現(xiàn)明顯的網(wǎng)絡(luò)故障，因此Argo會積極利用骨干網(wǎng)來實現(xiàn)最佳性能。

CTA（行動號召）

隨著Argo改進(jìn)我們網(wǎng)絡(luò)的性能，Cloudflare網(wǎng)絡(luò)互連（CNI）也優(yōu)化了接入。我們鼓勵我們的企業(yè)客戶在切實可行的情況下使用我們的免費CNI作為接入我們網(wǎng)絡(luò)的入口。通過這種方式，您可以充分利用我們的網(wǎng)絡(luò)，包括我們強大的骨干網(wǎng)，并提高Cloudflare全球連通云中每款產(chǎn)品的整體性能。最終，我們的全球網(wǎng)絡(luò)是我們的主要產(chǎn)品，而我們的骨干網(wǎng)在其中發(fā)揮著關(guān)鍵作用。通過這種方式，我們將繼續(xù)通過為世界各地的每個人提供更好的服務(wù)來幫助構(gòu)建更好的互聯(lián)網(wǎng)。