新記錄誕生，騰訊云2分31秒打破ImageNet訓(xùn)練記錄

8月21日，騰訊云正式對(duì)外宣布成功創(chuàng)造了128卡訓(xùn)練ImageNet業(yè)界新記錄，以2分31秒的成績一舉刷新了這個(gè)領(lǐng)域的世界記錄。若改變跨機(jī)網(wǎng)絡(luò)帶寬，該成績還可以進(jìn)一步提升至2分2秒，將這一記錄提升到一個(gè)全新的高度。

這次記錄是基于公有云25Gbps的VPC網(wǎng)絡(luò)環(huán)境，使用128塊V100 GPU，借助最新研制的Light大規(guī)模分布式多機(jī)多卡訓(xùn)練框架創(chuàng)造的，最終成績定格在2分31秒訓(xùn)練ImageNet 28個(gè)epoch，TOP5精度達(dá)到93%，之前的業(yè)界最好成績是2分38秒。據(jù)了解，這項(xiàng)記錄的背后團(tuán)隊(duì)來自騰訊云智能鈦團(tuán)隊(duì)、騰訊機(jī)智團(tuán)隊(duì)、騰訊優(yōu)圖實(shí)驗(yàn)室以及香港浸會(huì)大學(xué)計(jì)算機(jī)科學(xué)系褚曉文教授團(tuán)隊(duì)。

作為人工智能最重要的基礎(chǔ)技術(shù)之一，深度學(xué)習(xí)的應(yīng)用已經(jīng)快速延伸到智慧城市、智能制造等眾多場景。然而與需求同步衍生的是在深度學(xué)習(xí)訓(xùn)練中產(chǎn)生的諸多問題，比如數(shù)據(jù)量龐大且訓(xùn)練耗時(shí)長、計(jì)算模型/結(jié)構(gòu)愈漸復(fù)雜、參數(shù)量大、超參數(shù)范圍廣泛等。這些問題已經(jīng)阻礙了深度學(xué)習(xí)開發(fā)應(yīng)用的進(jìn)度。如何做高性能AI訓(xùn)練和計(jì)算，不僅關(guān)乎到AI生產(chǎn)研發(fā)效率，還對(duì)AI產(chǎn)品的迭代效率和成功上線產(chǎn)生重要影響，而高效訓(xùn)練的一個(gè)非常重要的基準(zhǔn)是如何在更短時(shí)間內(nèi)對(duì)大型可視化數(shù)據(jù)庫ImageNet做一次訓(xùn)練。

正是在這樣的背景下，騰訊云聯(lián)合多個(gè)團(tuán)隊(duì)研發(fā)出了Light大規(guī)模分布式多機(jī)多卡訓(xùn)練框架，從深度學(xué)習(xí)訓(xùn)練的速度、多機(jī)多卡的擴(kuò)展性、batch收斂等方面，為業(yè)界提供了一套全新的訓(xùn)練解決方案。

在單機(jī)訓(xùn)練速度方面，騰訊云首先利用GPU云服務(wù)器的內(nèi)存和SSD云盤，在訓(xùn)練過程中為訓(xùn)練程序提供數(shù)據(jù)預(yù)取和緩存，加速了訪問遠(yuǎn)程存儲(chǔ)數(shù)據(jù)。而針對(duì)大量線程相互搶占導(dǎo)致CPU運(yùn)行效率低下問題，騰訊云通過自動(dòng)調(diào)整最優(yōu)數(shù)據(jù)預(yù)處理線程數(shù)來降低CPU的切換負(fù)擔(dān)，讓數(shù)據(jù)預(yù)處理和GPU計(jì)算并行，提升了整體訓(xùn)練的速度。

在多機(jī)擴(kuò)展訓(xùn)練方面，以往的TCP環(huán)境下，跨機(jī)通信的數(shù)據(jù)需要從顯存拷到主存，再通過CPU去收發(fā)數(shù)據(jù)，計(jì)算時(shí)間短加上通信時(shí)間長，使多機(jī)多卡的擴(kuò)展性受到了很大挑戰(zhàn)。騰訊云則憑借Light高效擴(kuò)展了多機(jī)訓(xùn)練，通過自適應(yīng)梯度融合技術(shù)、層級(jí)通信+多流手段、層級(jí)topk壓縮通信算法等，充分利用通信時(shí)的網(wǎng)絡(luò)帶寬，優(yōu)化了跨機(jī)通信的時(shí)間。

此外，為充分利用大規(guī)模集群算力，目前業(yè)界主要通過不斷提升訓(xùn)練的batch size來提升訓(xùn)練速度，但是batch size的增大會(huì)對(duì)精度帶來影響和損失。為解決這一問題，騰訊云通過大batch調(diào)參策略、梯度壓縮精度補(bǔ)償、AutoML調(diào)參等方法，有效實(shí)現(xiàn)了在增大batch size的同時(shí)，最小化其對(duì)精度的影響。

通過Light大規(guī)模分布式多機(jī)多卡訓(xùn)練框架及平臺(tái)等一系列完整的解決方案，ImageNet的訓(xùn)練結(jié)果取得了新突破。并且在取得高效訓(xùn)練的同時(shí)，也將其能力集成到騰訊云智能鈦機(jī)器學(xué)習(xí)平臺(tái)，并廣泛應(yīng)用在騰訊內(nèi)外部的業(yè)務(wù)。

接下來，聯(lián)合項(xiàng)目團(tuán)隊(duì)還將進(jìn)一步提升機(jī)器學(xué)習(xí)平臺(tái)易用性，訓(xùn)練和推理性能，構(gòu)建穩(wěn)定、易用、好用、高效的平臺(tái)和服務(wù)，為算法工程師提供有力的機(jī)器學(xué)習(xí)工具，助力各行各業(yè)用戶業(yè)務(wù)的發(fā)展。