讓我們一同走進Amazon EC2這15年來背后的故事

"There is no compression algorithm for experience."

“經(jīng)驗沒有壓縮算法。”

—Amazon CEO Andy Jassy

在過去的15年里，我們不僅見證了客戶們使用亞馬遜云科技提供的計算服務(wù)實現(xiàn)諸多宏大的企業(yè)目標，還見證了客戶們不斷挑戰(zhàn)這些工具的極限。2006年就如昨日一般，但15年前的世界與現(xiàn)在大不相同。在手機非智能時代，甚至沒人知道APP商店為何物，當時最受歡迎的手機應用程序也許是《貪吃蛇II》。如果想在家看電影，需要等幾天才能收到寄來的影碟。

十五年來，亞馬遜也經(jīng)歷了巨大的變化。作為一家電子商務(wù)公司，亞馬遜經(jīng)歷了爆發(fā)式的增長。當時，剛剛推出了亞馬遜Prime服務(wù)的亞馬遜云科技，為數(shù)百萬件商品無條件提供免費兩日達的送貨服務(wù)。而由這類業(yè)務(wù)所帶來的IT行業(yè)復雜的挑戰(zhàn)，讓亞馬遜重新審視自己，找尋行業(yè)解決方案。

2003年底，亞馬遜開始正式思考“云服務(wù)”問題。未來企業(yè)要在通用服務(wù)之上構(gòu)建應用的話，那么操作系統(tǒng)就會網(wǎng)絡(luò)化，也就是現(xiàn)在所說的“云”，這種操作系統(tǒng)將需要一組公共組件，類似于亞馬遜已經(jīng)在內(nèi)部實現(xiàn)的組件化。正是這一發(fā)現(xiàn)，讓亞馬遜意識到，互聯(lián)網(wǎng)操作系統(tǒng)可以套用這種部件。因此，亞馬遜定下目標：為企業(yè)和開發(fā)者提供工具和服務(wù)，讓他們能構(gòu)建所有的應用并運行所有的工作負載。

如何讓計算變得像開燈一樣簡單，這是亞馬遜云科技早期一直思考的問題。

一個世紀前，多數(shù)美國大型制造企業(yè)仍然想通過自己發(fā)電為工廠供電。隨著電網(wǎng)的普及，公司開始關(guān)閉自己的發(fā)電廠，因為他們可以隨時隨地獲得更經(jīng)濟的電力資源。

如今的計算領(lǐng)域也是如此，就像早期電網(wǎng)的轉(zhuǎn)變一樣，算力可以在你需要的時候打開和關(guān)閉?？蛻羰褂脕嗰R遜云科技服務(wù)時，立刻就能獲得比自己搭建硬件平臺還要多的計算資源，而且它們也是可以靈活釋放的算力。

在云計算出現(xiàn)之前IT部門對計算機硬件生命周期，采用截然不同的管理方法，大多數(shù)人會購買新的硬件，安裝好然后用上三五年，直到因為服務(wù)需要或者硬件出現(xiàn)故障才把它們淘汰掉。

早期的亞馬遜云科技專家對自己的數(shù)據(jù)中心也使用相同的方法。他們啟用一個實例，長時間運行，并最終在工作轉(zhuǎn)移到一個新的實例或服務(wù)時將其關(guān)閉。

這一切都在2008年改變了。一個周四的下午，亞馬遜云科技控制臺的啟用速度突然提升。彼時，從未出現(xiàn)過如此多的實例快速啟動或終止。于是亞馬遜云科技日以繼夜的工作，確保所有的系統(tǒng)正常運行，盡管當時我們做了所有的設(shè)計和測試，但從未設(shè)想自己的基礎(chǔ)設(shè)施會應對這種規(guī)模的操作。

突如其來的增長

這一增長是由一家名為Animoto的初創(chuàng)公司推動的，他們在Amazon EC2、Amazon S3和Amazon SQS上構(gòu)建了一個服務(wù)讓用戶上傳一系列圖像，以生成帶有配樂和轉(zhuǎn)場特效的視頻。在當時，這種技術(shù)是全新的，有很多后臺的工作要做：在圖像加載后，專有算法會分析它們，根據(jù)圖像的數(shù)量和大小，然后渲染出最終的視頻。這需要相當大的算力，至少在2008年是相當大的。

就在前一個月，該團隊將Animoto的一款新視頻服務(wù)作為Facebook應用推出，當時的效果很好，當月注冊用戶人數(shù)，就高達2.5萬人。然而，他們注意到有相當一部分Facebook用戶，雖然激活了這款應用，但從未制作過Animoto視頻，Animoto團隊意識到他們的使用很大程度上依賴于，看到的第一個Animoto視頻中的驚喜點并想要與朋友們分享的心情。

于是，團隊在周一時對應用程序做了一個細小但重要的改變：他們?yōu)橛脩糇詣觿?chuàng)建了第一個Animoto視頻。在四天內(nèi)，他們的用戶從2.5萬增加到25萬。每個用戶都有一個自動生成的視頻，每個視頻都將啟動，使用和終止一個單獨的Amazon EC2實例。在前一個月，他們使用了50到100個實例。

而在周二，實例的使用量峰值達到400左右；到周三，這一數(shù)字達到了900；然后到周五早上，實例總數(shù)多達3400個。這是亞馬遜云科技第一次看到這種規(guī)模的實例自動創(chuàng)建和終止，并響應客戶的敏捷操作。亞馬遜云科技知道這是一種在容器和服務(wù)領(lǐng)域中廣泛使用的范例，全部在云端實現(xiàn)，

100萬個實例的啟動慶典

2009年是亞馬遜云科技的第100萬個實例的啟動慶典，亞馬遜云科技花了兩年時間和無數(shù)的努力才走到這一步。當計數(shù)器響起時，對亞馬遜云科技來說是一個巨大的里程碑。僅僅四個月后，亞馬遜云科技就看到Amazon EC2有超過了200萬個實例，并在兩個月后達到了300萬例。大約就在那時亞馬遜云科技就不再計數(shù)了，在當初亞馬遜云科技并沒有預料到能支持如此大規(guī)模的實例，每天都有超過6000萬個新Amazon EC2實例。

幫助企業(yè)靈活應對外部挑戰(zhàn)

有了這么大的規(guī)模，亞馬遜云科技不僅能夠?qū)崿F(xiàn)最初的承諾而且對任何工作負載，都能提供更好的支持。同時，我們還能夠幫助企業(yè)更快地，更好地應對外部挑戰(zhàn)。這一點在過去一年半的時間里表現(xiàn)得最為明顯。

新冠肺炎疫情影響了所有人的日常生活，包括學習，工作和娛樂。這給IT負責人們帶來了巨大的壓力，他們需要快速響應，擴大業(yè)務(wù)規(guī)模，來滿足從面對面交流和交易轉(zhuǎn)到線上的需求。這也帶來了對云服務(wù)的巨大需求。亞馬遜云科技迅速作出反應為客戶提供了，可擴展且可靠的基礎(chǔ)設(shè)施資源，以及技術(shù)支持。

例如，美國金融業(yè)監(jiān)管局（FINRA），是美國的經(jīng)濟和交易所市場的監(jiān)管機構(gòu)。當它們的交易量增加了兩到三倍，利用亞馬遜云科技的計算資源使得他們能夠自動評估，并處理創(chuàng)紀錄的交易峰值。并在沒有人工干預的情況下，釋放計算資源。FINRA在一天內(nèi)自動創(chuàng)建和釋放了，多達10萬個實例。

如同其他家庭娛樂服務(wù)一樣，Netflix同樣發(fā)現(xiàn)了，觀看人數(shù)和會員人數(shù)的增長勢頭。為了滿足這一需求，Netflix公司的后端IT服務(wù)需要迅速擴大規(guī)模。亞馬遜云科技和Netflix公司建立長期合作的關(guān)鍵，在于亞馬遜云科技不僅能夠滿足擴容需求和計算存儲，也能提供必備的自動化和管理。與此同時，這種擴容需求的激增。

在此期間，亞馬遜云科技極大地避免了重大中斷的出現(xiàn)，并且能夠繼續(xù)擴大規(guī)模以滿足客戶的需求。然而，做到這一點并不容易。管理好云資源從而實現(xiàn)人們眼中近乎無限的算力，是一個非常復雜的問題。

如何管理好復雜“云資源”

在過去的15年里亞馬遜云科技在這方面，投入了大量資源，事實上我們很早就知道資源管理是多么復雜。在2007年，當亞馬遜云科技遇到一個意想不到的資源峰值時，可以通過釋放Amazon EC2團隊自己正在使用的幾個實例來解決它。

即使，當時的規(guī)模就是如此有限，而如今亞馬遜云科技擁有復雜的預測算法和優(yōu)化的供應鏈以確保有足夠的資源容量，可以應對一切激增的需求，有時需求甚至是在一夜之間爆發(fā)。

多年來，亞馬遜云科技已經(jīng)研究出如何在“云”規(guī)模下運作，如何應對幾乎所有需求以及挑戰(zhàn)，并且永遠不會對客戶說不。我們的客戶可根據(jù)需求自動預估資源，無需任何人工干預。某些客戶的系統(tǒng)甚至有可以在一天內(nèi)，自動創(chuàng)建和關(guān)閉多達數(shù)十萬個計算節(jié)點。

亞馬遜云科技是如何做到這一點的呢？以及是如何積極應對需求的巨大峰值，和實現(xiàn)人們眼中近乎無限的算力？亞馬遜云科技提供這種服務(wù)的能力在很大程度上，與亞馬遜云科技管理供應鏈的能力有關(guān)，這是亞馬遜云科技的獨特優(yōu)勢。

快速響應突發(fā)的疫情

早在很多人意識到疫情的嚴重性之前，亞馬遜云科技就在2020年1月初，開始調(diào)整供應鏈以應對爆發(fā)的疫情。我們將生產(chǎn)轉(zhuǎn)移到疫情影響較小的國家，確保有后備供應商，從而能夠應對任何暫時性的供應中斷。同時，我們還將裝配線移到離數(shù)據(jù)中心更近的地方，使產(chǎn)品能夠快速提升資源容量。依托強大的供應鏈伙伴關(guān)系，使我們能夠在需要時迅速行動

除此以外，我們還有一個預測團隊，他們管理一個基于外部因素，以及內(nèi)部信號和歷史經(jīng)驗來統(tǒng)計模型。例如，如果有一個大型電子游戲發(fā)布或者合作伙伴的視頻會議有額外的需求，就會與基礎(chǔ)設(shè)施合作伙伴和制造商合作，確保在這些活動之前擁有所需的資源容量。

“顧客至尚”的文化使亞馬遜云科技能夠在客戶日常運營和業(yè)務(wù)發(fā)展的過程中滿足他們的需求。這一點得到了行業(yè)分析師的一致認可。Gartner的魔力象限已經(jīng)連續(xù)第11年將亞馬遜云科技列為云基礎(chǔ)設(shè)施平臺，以及服務(wù)象限的領(lǐng)導者。

數(shù)百萬組織在亞馬遜云科技計算平臺上運行不同的工作負載。我們正幫助包括Lyft、Netflix、Coca-Cola和Moderna等企業(yè)降低基礎(chǔ)設(shè)施成本，并加快世界上最可靠、安全、功能強大的云技術(shù)的創(chuàng)新。

*本文節(jié)選自Amazon EC2副總裁David Brown演講