AWS的秘密武器：徹底改變計算架構

AWS正在為計算系統(tǒng)架構的變革指明方向。就像AWS在上個十年定義了云計算運營模式一樣，Wikibon相信它將再次引領未來計算系統(tǒng)的發(fā)展。支撐這些創(chuàng)新的秘訣是專門的設計，用于打破低效和臃腫的集中式處理架構的束縛。這些舉措使AWS能夠適應跨越云、數(shù)據(jù)中心以及近端和遠端工作負載的多樣性。Wikibon深入探討了AWS一直在采取的舉措，解釋他們是如何走到這一步的，為什么認為這對行業(yè)來說是變革性的，以及這對客戶、合作伙伴和 AWS 的眾多競爭對手意味著什么。

AWS的架構之旅——通往Nitro和Graviton之路

AWS發(fā)起的IaaS革命為訪問VM提供了便利，可以根據(jù)需要部署和停止VM。亞馬遜使用了一個高度定制的Xen版本，允許多個VM在一臺物理機器上運行，系統(tǒng)管理程序功能由x86控制。

根據(jù)Werner Vogels的說法，多達30%的處理能力被浪費了，意思是這30%被用于支持管理程序功能和管理系統(tǒng)的其它部分，包括存儲和網(wǎng)絡。這些開銷導致了AWS開發(fā)定制的ASIC芯片，來幫助加速工作負載。

2013 年，AWS開始交付定制芯片，并與AMD合作發(fā)布 EC2 C3 實例。但隨著AWS云的擴展，亞馬遜對性能提升并不滿意，他們看到了架構上的限制。

這促使AWS在2014年開始與Annapurna Labs建立合作伙伴關系，并于2015年推出EC2 C4實例。 C4中的ASIC優(yōu)化了存儲和網(wǎng)絡的卸載功能，但仍依賴英特爾至強作為控制點。

據(jù)報道，AWS在2015年斥資3.5億美元收購了Annapurna——這筆微薄的資金用于獲得其未來系統(tǒng)設計的秘密武器。這次收購促成了2017年的現(xiàn)代版本的Project Nitro（Nitro 卸載卡于2013年首次推出）。這時，AWS引入了C5實例，用KVM代替了Xen，并且將管理程序與ASIC更緊密地耦合在一起。去年，Vogels 表示，這一里程碑式的舉措卸載了其余的組件，包括控制平面和其余的I/O部分，并啟用近100%的處理能力來支持客戶工作負載。C5實例還引入了裸機版本，從而催生了與VMware的合作伙伴關系，以在AWS上推出 VMware Cloud。

然后在2018年，AWS邁出了新的一步，推出了Graviton，這是其定制設計的基于Arm的芯片。這打破了對x86的依賴，開啟了架構的新時代，現(xiàn)在支持各種配置，支持數(shù)據(jù)密集型工作負載。這些舉措為其他AWS的創(chuàng)新奠定了框架，包括針對ML、訓練、AI、推理優(yōu)化的新芯片。

最重要的是，AWS設計了一種方法，可以卸載當前由中央處理器完成的工作。它為未來奠定了基礎，允許共享內存、內存分解和獨立資源，這些資源可以配置為支持從云到邊緣的工作負載——其成本遠低于通用方法。

Nitro是這個架構的關鍵。簡而言之——AWS Nitro是一組自定義硬件和軟件，運行在Annapurna衍生的基于Arm的芯片上。AWS已將管理程序、網(wǎng)絡和存儲虛擬化轉移到專用硬件上，釋放出CPU，使其更有效地運行。這一點之所以如此引人注目，是因為AWS現(xiàn)在已經有了一個架構，可以在由公共云、內部數(shù)據(jù)中心以及近端和遠端組成的大規(guī)模TAM（可觸達的市場）的各個層面進行競爭。

為整個行業(yè)設定方向

下圖是從ETR數(shù)據(jù)集中提取的數(shù)據(jù)。它展示了為云計算、數(shù)據(jù)中心和邊緣的未來而競爭的關鍵角色。Wikibon在其中也加入了英偉達和英特爾，它們沒有直接出現(xiàn)在ETR調查中，但它們顯然是組合中的平臺參與者。

數(shù)據(jù)在縱軸上顯示凈得分——這是衡量支出速度的指標。市場份額位于橫軸上，它是數(shù)據(jù)集中普遍性的衡量標準。Wikibon不打算在這里糾結于相對位置，而是評論一下參與者，首先是AWS，Wikibon相信AWS正在為未來設定方向。

AWS

AWS確實在大力推動從x86平臺向基于Arm的平臺遷移。在Six Five峰會上，AWS的EC2負責人David Brown談論了從x86遷移到AWS基于Arm的Graviton 2的問題，他還宣布了一項新的開發(fā)者挑戰(zhàn)，以加速向Arm遷移。Brown為客戶準備的產品，其性價比要好40%。他舉例說，一個運行100個服務器實例的客戶通過遷移到Graviton2實例，可以用60個服務器做同樣的工作。客戶需要做一些遷移工作，但回報是很大的。

一般來說，客戶對遷移的想法很反感。遷移的商業(yè)價值是由現(xiàn)有的利益減去遷移成本，必須考慮到任何業(yè)務中斷、代碼凍結、重新培訓和時間價值的變量。但在這種情況下，AWS似乎正在將遷移的痛苦降到最低。

根據(jù)Brown的說法，對客戶的好處是，AWS目前提供了大約400種不同的EC2實例，去年推出的新EC2實例中有近50%是基于Arm的，而且AWS正在努力加快從x86遷移到自己設計的步伐。

英特爾

英特爾終于對市場力量做出了認真的回應?；旧嫌⑻貭栒诮梃bArm的玩法。2015年，英特爾為FPGA制造商Altera支付了167億美元。同樣在Six Five峰會上，英特爾的Navin Shenoy詳細介紹了英特爾所謂的 IPU（基礎設施處理單元）。這與英特爾的規(guī)范背道而馳，在英特爾規(guī)范中，一切都由中央處理單元控制。IPU 基本上就是個智能 NIC，DPU 也是如此，這完全是關于卸載工作、分解內存和不斷發(fā)展的 SoC（片上系統(tǒng)和 SoP）的系統(tǒng)級封裝。

但是，讓這個問題沉淀一下。英特爾在過去一段時間的行動，顯然是為了創(chuàng)建一個平臺，使其合作伙伴能夠建立類似Nitro的卸載能力。而這個平臺的基礎是167億美元的收購，與AWS對Annapurna的3.5億美元的收購相比，這是令人難以置信的。

現(xiàn)在Shenoy在他的演講中說：“我們已經在Microsoft Azure上大量部署了使用FPGA的 IPU，我們最近宣布與百度、京東云和VMware建立合作伙伴關系?！?/p>

VMware

VMware是這場競賽中另一個真正突出的平臺參與者。2020年，VMware宣布了Monterey 項目，這是一個類似于Nitro的架構，它聲稱不依賴于任何特定的FPGA或SoC。VMware 正在與英特爾的 FPGA、 Nvidia基于ARM的Bluefield NIC和Pensando的智能NIC等新技術合作，并打算適應這些新技術。它還與戴爾、 HPE和聯(lián)想合作，推動這些公司各自解決方案的端到端整合。

因此，VMware正堅定地參與其中。然而現(xiàn)在還處于早期階段，Monterey是一個項目，而不是一個產品。VMware選擇與英特爾合作可能有多種原因，包括在VMware上運行的大多數(shù)軟件都是為x86構建的。另外當時Pat Gelsinger領導著VMware，他可能非常清楚地看到了未來——包括公司的和他自己的。盡管與英特爾有關，Monterey的架構設計似乎允許VMware納入其它供應商的創(chuàng)新，包括AMD和如Bluefield這種基于Arm的平臺。

最重要的是，VMware有這樣一個項目，使其朝著類似于Nitro的產品發(fā)展，而且在這一趨勢方面，它似乎在非云競爭中處于領先地位。

作為智能NIC的“中立國”，VMware目前只是邁出了完全控制架構的第一步，正如AWS之于Nitro一樣。具體來說，VMware可能會設計一個為VMWare優(yōu)化的底層解決方案，將計算與其它組件完全分離，也許這就是VMware的意圖，但目前還缺乏細節(jié)。

下一個主要步驟是設計一個像AWS Graviton這樣的定制芯片。VMware 會采取行動嗎？目前尚不清楚，但VMWare不需要這樣做，因為它可以與Ampere之類的公司合作來實現(xiàn)類似的結果。

其它超大規(guī)模玩家

微軟、谷歌和阿里巴巴呢？可以說，盡管英特爾和微軟之間存在關系，但堅信微軟和谷歌以及阿里巴巴將跟隨AWS的腳步，開發(fā)一個像Nitro這樣的基于Arm的平臺。在Wikibon看來，他們必須與AWS保持同步。

數(shù)據(jù)中心的其余廠商——戴爾、思科、HPE、IBM 和Oracle

戴爾有VMware，這是一記“將軍”。盡管兩家公司拆分了，但其實上Wikibon并不期望在業(yè)務上有任何真正的改變。戴爾將利用VMware所做的一切，并比其它任何廠商做得更好。思科很有趣，因為它剛剛改進了它的UCS，但沒有看到任何證據(jù)表明它的路線圖中有類似Nitro的計劃。HPE也一樣。這兩家公司都有芯片研發(fā)方面的歷史和能力——思科今天為運營商級別的用例設計自己的芯片，而 HPE可能還有小型機的遺留。但這兩家公司很可能會效仿VMware的做法，采用基于英特爾的設計。

IBM呢？Wikibon認為IBM能做得最好的事情，是將IBM云轉移到基于Arm的Nitro平臺上。Wikibon認為大型機也應該轉向Arm，現(xiàn)在建造一個專門的大型機CPU實在是太貴了。

Wikibon建議Oracle構建或合作構建基于Arm的、類似Nitro的數(shù)據(jù)庫云。與運行 Oracle 的任何其他平臺相比，Oracle自己平臺的運行成本更低、速度更快并且消耗的能源更少。Wikibon還建議更進一步，對Oracle云中運行的競爭型數(shù)據(jù)庫進行優(yōu)化，想象一下在Oracle云中運行Snowflake的場景！

關于FPGA

Wikibon從來沒有對FPGA市場過度興奮，也從來沒有覺得這些大規(guī)模的收購是合理的。英特爾對Altera的收購和AMD以350億美元收購Xilinx，這兩件事都被夸大了，特別是當把它們與AWS的Annapurna收購案相比較時。Wikibon從The Next Platform 中找到了一份不錯的FPGA市場概述，它將FPGA定位為一個正在下降的市場，這并不驚人。

老實說，Arm生態(tài)系統(tǒng)將通過使其更簡單、更快速地轉移到具有更好的性能、靈活性、集成度和移動性的SoC上而抹殺FPGA市場。FPGA是低容量的，遠不如來自Arm生態(tài)系統(tǒng)的可編程創(chuàng)新有吸引力。

針對AMD Xilinx交易，考慮到膨脹的市場和AMD股票，它在財務上是可行的。如果AMD專注于將Arm組件集成到他們的設計中，可以加速其業(yè)務。

當然，仍然不能忽視亞馬遜以3.5億美元收購Annapurna的輝煌，這確實令人驚訝。

英特爾對未來數(shù)據(jù)中心的愿景？

下面是Shenoy展示的一張圖表，描述了英特爾對未來的愿景：

對它分解一下。在上面看到的是IPU，它們是嵌入在所顯示的四個區(qū)塊中的智能NIC，并通過一個結構進行通信。左上角是通用計算，左下角是機器智能，右上角是存儲服務，然后在右下角是各種替代處理器。

這是英特爾對共享資源的看法，從一個所有都由中央處理單元控制的世界，到一個更獨立的、可以并行工作的資源集合。

Gelsinger 談到了所有很酷的技術，這將使英特爾納入其中，包括使內存共享和分解的PCIe-Gen5和CXL內存接口，以及5G和6G連接等等。

Arm如何看待未來

首先，Arm的營銷傾向于真正的技術性。但是正如在下圖看到的，與英特爾的愿景有明顯的相似之處，特別是在右側的紅色虛線區(qū)域所強調的，已經有了不同類型的處理器塊，這些“塊”是可編程的。請注意兩側的“高帶寬內存”HBM3+DDR5，對“塊”進行支撐——這是在整個系統(tǒng)中共享的，它通過PCIe-Gen5、CXL或CCIX、多芯片/插槽連接。

這兩組方塊圖雖然在分解、隱含共享內存和使用高級標準方面有相似之處，但也有一些顯著的差異。

特別是，Arm處于SoC級別，而Intel正在談論 FPGA。Arm的架構Neoverse正在以測試模式交付，到2022年底將有產品進入終端市場。英特爾談論的最多是2025年或2024年。Arm的路線圖要清晰得多?，F(xiàn)在英特爾說它將在10月份發(fā)布更多細節(jié)，所以也許Wikibon會在那個時候重新調整，但Arm顯然走得更遠。

另一個主要區(qū)別是數(shù)量。英特爾是從高端數(shù)據(jù)中心開始的，并可能計劃將市場向下推至邊緣。Arm則是從邊緣開始的，低成本、低功率、高性價比。Arm已經在邊緣市場取得了勝利，根據(jù)之前分享的來自AWS的數(shù)據(jù)，它顯然在企業(yè)市場中獲得了地位。

歷史強烈地表明，批量的方法將獲勝。

對客戶和生態(tài)系統(tǒng)的影響

這對客戶和合作伙伴的生態(tài)系統(tǒng)意味著什么？

第一點是關注消費者應用程序。消費者應用程序中的能力，如圖像處理、NLP、面部識別、語音翻譯——這些今天在移動領域進行的推理能力將進入企業(yè)生態(tài)系統(tǒng)。

與云中的機器學習相關的90%的成本都是圍繞推理的。在未來，企業(yè)中的大部分人工智能，當然還有邊緣的人工智能，將是實時推理。這在今天的企業(yè)中沒有發(fā)生，因為它太昂貴了，而且在消費者用例之外也不成熟。這就是為什么AWS正在制造用于推理的定制芯片，它希望降低成本，增加采用率。

第二點是應該開始試驗，看看可以用基于Arm的平臺做什么。摩爾定律正在加速發(fā)展，Arm在性能、價格表現(xiàn)、成本和能耗方面處于領先地位。例如，通過將一些工作負載轉移到Graviton上，會看到可以推動哪些類型的成本節(jié)約，或者是可以交付給企業(yè)的新應用程序（基于Arm）。讓幾個工程師來完成這項任務，看看他們在兩到三周內能做什么，可能會發(fā)現(xiàn)——你可能會淘到“金礦”。

Wikibon還建議與混合云供應商談談，看看他們是否有Nitro。VMware有一條清晰的道路，那其它戰(zhàn)略供應商呢？他們的路線圖是什么？從他們現(xiàn)在的狀態(tài)轉變?yōu)轭愃朴?Nitro 和更具吸引力的軟件模型的時間框架是什么？他們如何考慮降低成本并大規(guī)模支持新工作負載？

對于ISV來說，所有這些移動應用和智能汽車應用以及生物識別等技術都需要注意，此外機器智能功能將進入軟件里。而競爭對手正在積極地移植到Arm，他們正在將這些類似消費者的能力嵌入到應用程序中。Wikibon強烈建議ISV與云供應商談談，看看能做些什么來幫助創(chuàng)新、加快運行和降低成本。

有的時候，什么都不做，靜觀市場變化，這也是一種可行的策略。但Wikibon認為，這一策略不適用于現(xiàn)在的市場情況。