Google云計算加速器TPU進一步支持函數(shù)庫PyTorch

Google在云計算加速器TPU進一步支持深度學習函數(shù)庫PyTorch，大多數(shù)的PyTorch程序，僅需使用Python組件PyTorch/XLA，進行最小程度的修改，就能夠使用TPU來加速機器學習工作負載，且在TPU還不支持的操作，自動退回到以CPU運算，而PyTorch/XLA也會生成詳細的報告，助PyTorch用戶發(fā)現(xiàn)應用程序瓶頸，在Cloud TPU上，能夠高性能的執(zhí)行機器學習工作負載。

在2019年PyTorch開發(fā)者大會上，臉書、Google以及Salesforce Research的工程師開始了PyTorch-TPU項目，目標是要讓PyTorch社群，可以更容易運用Cloud TPU高效運算能力，因此該團隊創(chuàng)建了PyTorch/XLA組件，結合PyTorch API與XLA線性代數(shù)編譯器，讓PyTorch可以連接到Cloud TPU，將TPU核心作為設備使用。

XLA是Google在2018年推出的優(yōu)化編譯器，通過優(yōu)劃算法運算，可以提升機器學習模型的執(zhí)行速度，XLA支持處理器以及繪圖卡，也能夠在Google TPU上執(zhí)行，通過XLA可以讓Cloud TPU更容易支持PyTorch。

最新發(fā)布的PyTorch/XLA，使Cloud TPU正式支持PyTorch 1.6，在基礎設施層提供模型平行運算能力，允許開發(fā)者可以在多個TPU核心上，分散大規(guī)模嵌入表，因此有能力創(chuàng)建許多過去無法完成的應用。另外，Google在云計算上發(fā)布的深度學習虛擬機（DLVM）鏡像文件，其中包括PyTorch等各種深度學習框架，而PyTorch/XLA 1.6現(xiàn)在預裝在DLVM中，并且已經對Cloud TPU進行優(yōu)化，供用戶快速激活開始工作。

為了讓開發(fā)者更好上手PyTorch/XLA，Google云計算還提供一組常用深度學習模型開源實例，以及相關的教程，這些模型包括使用ImageNet資料集的圖像分類任務ResNet-50，還有Transformer、RoBERTa以及BERT等知名模型，也能使用PyTorch 1.6才加入，由臉書開發(fā)的深度學習推薦模型（DLRM）。官方提到，在Cloud TPU訓練這些模型，大部分的情況僅需要很少的程序代碼更改。

艾倫人工智能研究所（Allen Institute for AI，A12）最近在多個項目中，開始使用PyTorch/XLA以及Cloud TPU進行研究，他們利用PyTorch/XLA在最新的語言模型中，加入可視化組件，以改善語言理解能力，A12科學家Matthew Peters認為，雖然PyTorch/XLA目前還只是新技術，但提供已經投入使用PyTorch的組織，一個加速訓練機器學習模型的新運算平臺。