谷歌第四代TPU性能實(shí)測來了！今年將向谷歌云用戶提供服務(wù)

　一個(gè)TPU v4 pod就能達(dá)到1 exaflop級的算力，實(shí)現(xiàn)每秒10的18次方浮點(diǎn)運(yùn)算。

　　缺席一年后的谷歌I/O大會，真的不負(fù)眾望。

　　除了讓谷歌AI掌門人Jeff Dean都直呼“魔鏡”的Starline的3D視頻通話技術(shù)，第四代TPU也是備受矚目。

　　谷歌介紹，TPU v4將主要以pod形式應(yīng)用，一個(gè)pod由4096個(gè)TPU v4單芯片組成，可以達(dá)到1 exaflop級的算力，這相當(dāng)于1000萬臺筆記本電腦之和。

　　與上一代TPU v3相比，在64個(gè)芯片的規(guī)模下，TPU v4的性能平均提升了2.7倍。

　　除此之外，TPU v4 pod的性能較TPU v3 pod提升了10倍。將主要以無碳能源運(yùn)行，不僅計(jì)算更快，而且更加節(jié)能。

　　谷歌CEO桑達(dá)爾·皮查伊（Sundar Pichai）透露，TPU v4 pod將會應(yīng)用在谷歌的數(shù)據(jù)中心，并在今年內(nèi)向谷歌云用戶提供服務(wù)。

　　兩分鐘跑完BERT訓(xùn)練

　　雖然剛剛才正式發(fā)布，但早在一年前，谷歌就提前透露了TPU v4的性能。

　　在去年7月發(fā)布的人工智能權(quán)威“跑分”MLPerf訓(xùn)練v0.7榜單中，我們可以看到TPU v4與各家芯片的性能對比。

　　在MLPerf訓(xùn)練測試中，其基準(zhǔn)包括圖像分類、翻譯、推薦系統(tǒng)和圍棋等8個(gè)機(jī)器學(xué)習(xí)任務(wù)中，最終結(jié)果是這8項(xiàng)任務(wù)的訓(xùn)練時(shí)間，速度越快則性能越強(qiáng)。

　　具體的8項(xiàng)任務(wù)內(nèi)容如下：

　　具體訓(xùn)練模型為：ResNet-50、SSD、Mask R-CNN、BERT、NMT、Transformer、DLRM和Mini Go。

　　TPU v4的表現(xiàn)情況如下，每個(gè)系統(tǒng)都以TPU v4加速器的數(shù)量來區(qū)分，分別為8、64、256.

　　從對比中可以看到：

　　在ResNet訓(xùn)練中，256塊TPU v4將時(shí)長縮短到1.82分鐘；

　　但是Nvidia A100A100-SXM4-40GB想要達(dá)到這一水平，至少需要768塊加速。

　　在BERT的訓(xùn)練中，256塊TPU v4也將時(shí)長縮短到1.82分鐘；

　　同樣256塊Nvidia A100-SXM4-40GB，僅能把訓(xùn)練時(shí)長縮短到3.36分鐘。

　　并且從公布的數(shù)據(jù)來看，4096塊第三代TPU組成的TPU v3 pod就可以將BERT訓(xùn)練壓縮到只有23秒！

　　關(guān)于TPU

　　簡單來說，TPU就是谷歌開發(fā)的一種可以加速機(jī)器學(xué)習(xí)的芯片。

　　不同于GPU，TPU是一種ASIC芯片，即應(yīng)用型專用集成電路（Application-Specific Integrated Circuit），是一種專為某種特定應(yīng)用需求而定制的芯片。

　　為什么要研發(fā)TPU呢？

　　其實(shí)是因?yàn)楣雀枳陨淼脑S多產(chǎn)品和服務(wù)，比如谷歌圖像搜索、谷歌翻譯，都需要運(yùn)用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

　　這就對算力有了更高的需求，一般的GPU、CPU很難維持。

　　所以，TPU應(yīng)運(yùn)而生。

　　第一代TPU被應(yīng)用到了大名鼎鼎的AlphaGo上，在2015年和李世英對戰(zhàn)時(shí)，就是部署了48個(gè)TPU。

　　到了第二代TPU，它被引入了Google Cloud，應(yīng)用在谷歌計(jì)算引擎（Google Compute Engine ，簡稱GCE）中，也稱為Cloud TPU。

　　配置了TPU v2的AlphaGo，僅用了4塊TPUv2，便擊敗當(dāng)時(shí)的世界圍棋冠軍柯潔。

　　2018年，谷歌發(fā)布第三代TPU，性能提升到第二代的2倍。

　　每個(gè)Pod的性能提高了8倍，且每個(gè)pod最多可含1024個(gè)芯片。

　　而第四代TPU，直到2021年才正式和大家見面。