關(guān)于華為云最新發(fā)布的盤古大模型，我們提了幾個問題

4 月 25 日，在華為開發(fā)者大會（Cloud）上，華為云發(fā)布了盤古系列超大規(guī)模預(yù)訓(xùn)練模型，包括 30 億參數(shù)的全球最大視覺（CV）預(yù)訓(xùn)練模型，以及華為云與循環(huán)智能、鵬城實驗室聯(lián)合開發(fā)的千億參數(shù)、40TB 訓(xùn)練數(shù)據(jù)的（NLP）預(yù)訓(xùn)練模型。

其中，盤古 NLP 大模型由華為云、循環(huán)智能和鵬城實驗室聯(lián)合開發(fā)，具備領(lǐng)先的語言理解和模型生成能力：在權(quán)威的中文語言理解評測基準(zhǔn) CLUE 榜單中，盤古 NLP 大模型在總排行榜及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀(jì)錄；總排行榜得分 83.046，多項子任務(wù)得分業(yè)界領(lǐng)先, 向人類水平（85.61）邁進(jìn)了一大步。

盤古 NLP 大模型位列 CLUE 榜單總排行榜第一

華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow 田奇表示：“預(yù)訓(xùn)練大模型是解決 AI 應(yīng)用開發(fā)定制化和碎片化的重要方法。華為云盤古大模型可以實現(xiàn)一個 AI 大模型在眾多場景通用、泛化和規(guī)?；瘡?fù)制，減少對數(shù)據(jù)標(biāo)注的依賴，并使用 ModelArts 平臺，讓 AI 開發(fā)由作坊式轉(zhuǎn)變?yōu)楣I(yè)化開發(fā)的新模式?！蓖饨鐚θA為云盤古大模型充滿了好奇，在華為開發(fā)者大會（Cloud）期間，參與大模型開發(fā)的兩位華為云專家回答了以下幾個大家關(guān)心的問題。

作為一個開發(fā)者，請問盤古大模型的易用性如何？使用成本有多高？

華為云專家：預(yù)訓(xùn)練模型設(shè)計的目的就是為了讓大家降低使用成本。大模型的預(yù)訓(xùn)練過程中，成本是比較高的，但這個成本不需要開發(fā)者來承擔(dān)。開發(fā)者在使用盤古大模型的時候，它本身的易用性會使得使用成本進(jìn)一步降低，達(dá)到一個比較合適的水平。比如說，我們會開發(fā)出一些比較通俗易懂的 Pipeline，如果你是有一定基礎(chǔ)的開發(fā)人員，你可以從我們的 Pipeline 當(dāng)中去做更多的定制化的開發(fā)，更好地去釋放預(yù)訓(xùn)練模型的能力。如果你只是一個 AI 開發(fā)小白，想用大模型去做 AI 簡單的開發(fā)，我們也會給你更加通俗易懂的界面，讓大家能夠用一些拖拉拽的方式使用盤古大模型?？傮w來講，大家在使用預(yù)訓(xùn)練模型的時候，計算時長、調(diào)參所需要重復(fù)的代價等都會被降到很低，總體來講是對開發(fā)者非常友好的。

對于新入門計算機(jī)視覺的人來說，需要掌握什么哪些知識才能快速進(jìn)入到學(xué)習(xí)和研發(fā)中？

華為云專家：人工智能、計算機(jī)視覺等經(jīng)過幾十年的發(fā)展，到現(xiàn)在已經(jīng)擁有很龐大的知識體系。如果一個初學(xué)者想要把這些東西都了解以后再開始做研究，效率會稍微有點低。我給大家的建議是，你在學(xué)習(xí)過程當(dāng)中，可以先找準(zhǔn)一個問題。剛開始的時候，這個問題可能是相對初級的問題，但一定有具體的場景。比如想做弱監(jiān)督學(xué)習(xí)，一般就是遇到某個實際的問題，它確實需要弱監(jiān)督算法。但是我是不是一定要掌握全監(jiān)督才能去做弱監(jiān)督呢？并不是這樣的。你可以先去查閱一些資料，了解當(dāng)前的弱監(jiān)督學(xué)習(xí)方法，它的基線是什么，它的前沿在哪里。然后你可以開始做一些簡單的實驗。實驗的過程當(dāng)中，一般會遇到一些困難或者一些疑惑。解決這些困難和疑惑的過程，一般就會把你引導(dǎo)到它的基礎(chǔ)，比如說全監(jiān)督到底是怎么做的。當(dāng)你有了更多基礎(chǔ)以后，回過頭來，也會發(fā)現(xiàn)你對當(dāng)前做的算法有了一個更好的理解。所以我的建議是大家可以找一本機(jī)器學(xué)習(xí)、計算機(jī)視覺這類介紹比較深入的教材去看，但是不要局限于這個教材：一邊做具體的課題，一邊去學(xué)習(xí)知識，效率會比較高。

盤古 CV 大模型有哪些成功的落地？跟業(yè)界相比處在什么位置？

華為云專家：盤古 CV 大模型，結(jié)合相關(guān)流程化開發(fā)，已經(jīng)在華為內(nèi)部以及其他合作項目上，有 100+ 成功落地，這些方向涵蓋了各行各業(yè)，包括工業(yè)視覺、網(wǎng)絡(luò)審查、零售商超，以及醫(yī)療等場景，都獲得了一些相較于之前不使用預(yù)訓(xùn)練大模型更高的結(jié)果。在某些場景上，比如遙感影像分割，我們通過設(shè)計針對遙感影像的預(yù)訓(xùn)練算法，在沒有增加額外標(biāo)注代價的情況下，達(dá)到了最多 12% 的分割精度提升。還有另外一個比較有意思的現(xiàn)象，我們使用超大規(guī)模圖像進(jìn)行的預(yù)訓(xùn)練模型具有更好的可遷移性，即直接把這樣一個模型，遷移到了工業(yè)質(zhì)檢的缺陷上進(jìn)行推理，我們非常欣喜地發(fā)現(xiàn)，我們在下游數(shù)據(jù)集上沒有進(jìn)行任何微調(diào)，但是在工業(yè)缺陷檢測上，獲得了比之前我的模型不停地高度的優(yōu)化，甚至利用下游的數(shù)據(jù)微調(diào)更好的結(jié)果，這個結(jié)果基本上會高出 3 到 4 個百分點。這個啟發(fā)我們，模型數(shù)據(jù)一旦夠多，其實它的泛化能力能夠獲得更好的保障。

第二，我們是國內(nèi)最早做視覺預(yù)訓(xùn)練大模型的公司之一。在國外是 Facebook 和谷歌從 2019 年開始在圖像上做了一些應(yīng)用。我們視覺預(yù)訓(xùn)練模型大概從 2019 年底的時候就開始了，通過自研的一些列改進(jìn)算法，我們首次在基于 ImageNet 的無監(jiān)督預(yù)訓(xùn)練模型線性分類精度上達(dá)到了全監(jiān)督基線的水平，同時在小樣本學(xué)習(xí)上大大領(lǐng)先現(xiàn)有技術(shù)，這些都是業(yè)界領(lǐng)先的成果。

華為的預(yù)訓(xùn)練是采用什么類型數(shù)據(jù)和學(xué)習(xí)任務(wù)？盤古 CV 大模型如何保證端側(cè)性能？

華為云專家：針對視覺圖像不同角度，以及不同場景的變化，盤古 CV 大模型采取的方法非常簡單。一，我們可能有海量數(shù)據(jù)集，這個數(shù)據(jù)集規(guī)模已經(jīng)達(dá)到了億級甚至十億級這樣的規(guī)模，我們相信這個海量的數(shù)據(jù)集，它能夠建模實際場景圖像的方方面面。二，我們采取了什么樣的學(xué)習(xí)方式。其實它的一個核心思想，就是 2019 年開始，比較火的基于全局的對比度自監(jiān)督學(xué)習(xí)方法。我們在這上面做了很多改進(jìn)。包括如何來利用弱標(biāo)簽信息，如何把全局的信息拓展到局部來更好建模局部相關(guān)關(guān)系。同時也會呼應(yīng)剛才提到的，如何處理不同視角、不同尺度圖像問題，怎么來讓它進(jìn)行高效的建模，這里面就是讓它進(jìn)行不同的數(shù)據(jù)增強，我們在預(yù)訓(xùn)練算法中，集成了十余種數(shù)據(jù)增強方法，讓它通過不同的數(shù)據(jù)增強，使得整個模型具有針對不同數(shù)據(jù)增強的不變性。到目前為止，我們在一個大模型種，搭載模型蒸餾、抽取以及行業(yè)大模型，已經(jīng)適配了大概十余種預(yù)訓(xùn)練模型。這十余種模型都是通過我們一個大模型的抽取，蒸餾所得到的，它在相應(yīng)的行業(yè)上，得到了非常大的精度提升。同時也極大地減少了標(biāo)注代價以及模型迭代周期。

華為云盤古 CV 大模型是如何結(jié)合不同行業(yè)知識，解決標(biāo)注數(shù)據(jù)大的問題？

華為云專家：舉一個我們在華為開發(fā)者大會（Cloud）上發(fā)布的國網(wǎng)重慶永川供電公司電力無人機(jī)智能巡檢的例子，這就是非常典型的利用盤古 CV 大模型解決行業(yè)問題的例子。在國網(wǎng)電力巡檢模型開發(fā)的過程中，它有海量的數(shù)據(jù)，標(biāo)注非常困難，我們做了什么呢？通過我們的視覺預(yù)訓(xùn)練算法，在海量的巡檢數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，這個預(yù)訓(xùn)練是利用了無人機(jī)巡檢的數(shù)十 TB 圖像，上百萬規(guī)模的數(shù)量，進(jìn)行預(yù)訓(xùn)練。大模型的參數(shù)更大，數(shù)據(jù)更多，所以它能夠更好地建模無人機(jī)巡檢過程中的圖片的細(xì)微差異。利用盤古 CV 大模型，它能夠提供更好的表征，使得標(biāo)注代價減少了 80% 以上，這在人力成本上是一個非常大的節(jié)省。除了減少標(biāo)注，還可以一個大模型適配我們電力巡檢領(lǐng)域的一百多種缺陷，從而讓模型迭代周期大大減少，整個迭代效率大概提升了 10 倍。我們在每次模型迭代過程中反饋給人需要標(biāo)注的整體的工作量就會越少。通過這兩種模式，最終提升了電力無人機(jī)智能巡檢 AI 模型的整體開發(fā)效率。