華為云發(fā)布全球最大預(yù)訓(xùn)練模型，開啟工業(yè)化AI開發(fā)新模式

4月25日，華為云發(fā)布盤古系列超大規(guī)模預(yù)訓(xùn)練模型，包括30億參數(shù)的全球最大視覺（CV）預(yù)訓(xùn)練模型，以及與循環(huán)智能、鵬城實(shí)驗(yàn)室聯(lián)合開發(fā)的千億參數(shù)、40TB訓(xùn)練數(shù)據(jù)的全球最大中文語言（NLP）預(yù)訓(xùn)練模型。后續(xù)，華為云還將陸續(xù)發(fā)布多模態(tài)、科學(xué)計(jì)算等超大預(yù)訓(xùn)練模型。 

華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow田奇表示：“預(yù)訓(xùn)練大模型是解決AI應(yīng)用開發(fā)定制化和碎片化的重要方法。華為云盤古大模型可以實(shí)現(xiàn)一個(gè)AI大模型在眾多場景通用、泛化和規(guī)?；瘡?fù)制，減少對數(shù)據(jù)標(biāo)注的依賴，并使用ModelArts平臺(tái)，讓AI開發(fā)由作坊式轉(zhuǎn)變?yōu)楣I(yè)化開發(fā)的新模式?！?/span>

▲華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow田奇

全球最大中文語言預(yù)訓(xùn)練模型，刷新CLUE三項(xiàng)榜單世界紀(jì)錄

盤古NLP大模型是全球最大的千億參數(shù)中文語言預(yù)訓(xùn)練模型，由華為云、循環(huán)智能和鵬城實(shí)驗(yàn)室聯(lián)合開發(fā)，預(yù)訓(xùn)練階段學(xué)習(xí)了40TB中文文本數(shù)據(jù)，并通過行業(yè)數(shù)據(jù)的樣本調(diào)優(yōu)提升模型在場景中的應(yīng)用性能。

盤古NLP大模型在三個(gè)方面實(shí)現(xiàn)了突破性進(jìn)展：

第一，具備領(lǐng)先的語言理解和模型生成能力：在權(quán)威的中文語言理解評測基準(zhǔn)CLUE榜單中，盤古NLP大模型在總排行榜及分類、閱讀理解單項(xiàng)均排名第一，刷新三項(xiàng)榜單世界歷史紀(jì)錄；總排行榜得分83.046，多項(xiàng)子任務(wù)得分業(yè)界領(lǐng)先, 向人類水平（85.61）邁進(jìn)了一大步。

▲盤古NLP大模型位列CLUE榜單總排行榜第一

在NLPCC2018文本摘要任務(wù)中，盤古NLP大模型取得了Rouge平均分0.53的業(yè)界最佳成績，超越第二名百分之六十。

第二，盤古NLP大模型在預(yù)訓(xùn)練階段沉淀了大量的通用知識(shí)，既能做理解又能做生成。除了能像GPT-3等僅基于端到端生成的方式以外，大模型還可以通過少樣本學(xué)習(xí)對意圖進(jìn)行識(shí)別，轉(zhuǎn)化為知識(shí)庫和數(shù)據(jù)庫查詢。通過功能的模塊化組合支持行業(yè)知識(shí)庫和數(shù)據(jù)庫的嵌入，進(jìn)而對接行業(yè)經(jīng)驗(yàn)，使能全場景的快速適配與擴(kuò)展。比如在華為云和循環(huán)智能合作構(gòu)建的金融客服場景中，盤古NLP大模型能更好地賦能銷售環(huán)節(jié)，幫助服務(wù)人員快速提升業(yè)務(wù)水平，重塑消費(fèi)者體驗(yàn)。

第三，盤古NLP大模型采用大模型小樣本調(diào)優(yōu)的路線，實(shí)現(xiàn)了小樣本學(xué)習(xí)任務(wù)上超越GPT系列。比如在客戶需求分析場景中，使用盤古NLP大模型生產(chǎn)語義標(biāo)簽時(shí)，得到目標(biāo)結(jié)果所需的樣本量僅為GPT系列模型的十分之一，即AI生產(chǎn)效率可提升十倍。

30億參數(shù)，全球最大視覺預(yù)訓(xùn)練模型

盤古CV大模型是目前業(yè)界最大的視覺預(yù)訓(xùn)練模型，包含超過30億參數(shù)。盤古CV大模型首次兼顧了圖像判別與生成能力，從而能夠同時(shí)滿足底層圖像處理與高層語義理解需求，同時(shí)能夠方便融合行業(yè)知識(shí)微調(diào)，快速適配各種下游任務(wù)。盤古CV大模型性能表現(xiàn)優(yōu)異，在ImageNet 1%、10%數(shù)據(jù)集上的小樣本分類精度上均達(dá)到目前業(yè)界最高水平（SOTA）。

盤古CV大模型致力于解決AI工程難以泛化和復(fù)制的問題，開創(chuàng)AI開發(fā)工業(yè)化新模式，大大節(jié)約研發(fā)成本。此外，盤古CV大模型提供模型預(yù)訓(xùn)練、微調(diào)、部署和迭代的功能，形成了AI開發(fā)完整閉環(huán)，極大提升AI開發(fā)效率。目前，盤古CV大模型已經(jīng)在醫(yī)學(xué)影像、金融、工業(yè)質(zhì)檢等100余項(xiàng)實(shí)際任務(wù)中得到了驗(yàn)證，不僅大幅提升了業(yè)務(wù)測試精度，還能平均節(jié)約90%以上的研發(fā)成本。

盤古CV大模型助力無人機(jī)電力智能巡檢

國網(wǎng)重慶永川供電公司是國內(nèi)早期應(yīng)用無人機(jī)電力智能巡檢技術(shù)的電網(wǎng)企業(yè)。傳統(tǒng)的無人機(jī)智能巡檢AI模型開發(fā)主要面臨兩大挑戰(zhàn)：一是如何對海量數(shù)據(jù)進(jìn)行高效標(biāo)注；二是缺陷種類多達(dá)上百種，需要數(shù)十個(gè)AI識(shí)別模型，開發(fā)成本高。

華為云與國網(wǎng)重慶永川供電公司合作，在無人機(jī)智能巡檢AI模型開發(fā)上，華為云盤古CV大模型相對于傳統(tǒng)開發(fā)模式，展現(xiàn)了其強(qiáng)大的優(yōu)勢。

在數(shù)據(jù)標(biāo)注方面，盤古CV大模型利用海量無標(biāo)注電力數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并結(jié)合少量標(biāo)注樣本微調(diào)的高效開發(fā)模式，獨(dú)創(chuàng)性地提出了針對電力行業(yè)的預(yù)訓(xùn)練模型，使得樣本篩選效率提升約30倍，篩選質(zhì)量提升約5倍，以永川每天采集5萬張高清圖片為例，可節(jié)省人工標(biāo)注時(shí)間170人天。

在模型通用性方面，結(jié)合盤古搭載的自動(dòng)數(shù)據(jù)增廣以及類別自適應(yīng)損失函數(shù)優(yōu)化策略，可以做到一個(gè)模型適配上百種缺陷，替代原有20多個(gè)小模型，極大地減少了模型維護(hù)成本，平均精度提升18.4%，模型開發(fā)成本降低90%。

盤古大模型背后的支撐

盤古NLP大模型涉及千億參數(shù)、40TB訓(xùn)練數(shù)據(jù)，對算法、算力、海量數(shù)據(jù)處理、并行優(yōu)化都提出了很大挑戰(zhàn)。

在算法方面，華為云的算法團(tuán)隊(duì)和循環(huán)智能（Recurrent AI）的NLP團(tuán)隊(duì)聯(lián)合攻關(guān)，突破了大模型微調(diào)的難題。

鵬城實(shí)驗(yàn)室的國內(nèi)最大規(guī)模AI訓(xùn)練集群鵬城云腦II，在盤古NLP大模型訓(xùn)練中展示出強(qiáng)大的AI算力和數(shù)據(jù)吞吐能力，為盤古大模型訓(xùn)練打下堅(jiān)實(shí)的基礎(chǔ)。

另一方面，華為底層軟件、訓(xùn)練框架、ModelArts平臺(tái)協(xié)同優(yōu)化，充分釋放算力，達(dá)成全棧性能最優(yōu)。首先，針對底層算子性能，基于華為CANN采用了算子量化、算子融合優(yōu)化等技術(shù)，將單算子性能提升30%以上。其次，華為MindSpore創(chuàng)新性地采用了“流水線并行、模型并行和數(shù)據(jù)并行”的多維自動(dòng)混合并行技術(shù)，大幅降低了手動(dòng)編碼的工作量，并提升集群線性度20%。華為云ModelArts平臺(tái)提供E級算力調(diào)度，同時(shí)結(jié)合物理網(wǎng)絡(luò)拓?fù)?，提供?dòng)態(tài)路由規(guī)劃能力，為大模型訓(xùn)練提供了最優(yōu)的網(wǎng)絡(luò)通信能力。此外，借助ModelArts平臺(tái)的高效處理海量數(shù)據(jù)能力，僅用7天就完成了40TB文本數(shù)據(jù)處理。

截至目前，華為云已經(jīng)在全國10多個(gè)行業(yè)超過600個(gè)項(xiàng)目進(jìn)行了人工智能落地和實(shí)踐，幫助城市、交通、醫(yī)療、鋼鐵、紡織、能源、金融等行業(yè)智能升級。未來，華為云將持續(xù)通過技術(shù)創(chuàng)新，驅(qū)動(dòng)產(chǎn)業(yè)智能升級。

-END-