揭秘網(wǎng)易伏羲AIGC：內(nèi)測繪畫工具，落地多款產(chǎn)品推了好些新玩法

“在AIGC領(lǐng)域，網(wǎng)易伏羲確實(shí)很多都走在前列，比如捏臉、文本生成等。”

這是上周四（3月30日）網(wǎng)易伏羲AI研究&技術(shù)落地負(fù)責(zé)人睿風(fēng)分享后，與會(huì)者普遍的觀感。確實(shí)，網(wǎng)易伏羲實(shí)驗(yàn)室成立五年多來，一直專注于AI賦能游戲及泛娛樂領(lǐng)域，積累了豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。

以捏臉技術(shù)為例。伏羲持續(xù)探索AIGC智能捏臉的相關(guān)技術(shù)，并首創(chuàng)了照片捏臉、文字捏臉等技術(shù)能力，這些都為業(yè)界探索智能捏臉提供了寶貴的經(jīng)驗(yàn)。

睿風(fēng)分享道，AIGC智能捏臉技術(shù)框架整體上基于照片捏臉。升級(jí)之處在于，中間嵌入了一個(gè)CLIP Model，這樣便可發(fā)掘人臉美學(xué)規(guī)律，批量生成好看不重樣的游戲角色。

相較于外部模型，伏羲這套技術(shù)優(yōu)勢在于數(shù)據(jù)更精準(zhǔn)，生成資產(chǎn)更符合游戲業(yè)務(wù)需要。競核了解到，今年六月份《逆水寒》手游中會(huì)搭載這一新玩法，所有玩家均可體驗(yàn)。

需要指出的是，這套技術(shù)目前已應(yīng)用至美術(shù)生產(chǎn)管線中。要言之，在開發(fā)端美術(shù)可快速生成智能NPC，且符合策劃塑造人設(shè)的要求。

在當(dāng)天分享會(huì)上，睿風(fēng)還分享了伏羲在AI繪畫領(lǐng)域的最新進(jìn)展。目前，伏羲AI繪畫正在往三個(gè)方向探索。首先，內(nèi)部正在測試Midjourney類SaaS工具，偏向整合至開發(fā)側(cè)美術(shù)制作管線中。其次，則是推出輔助型工具，幫助美術(shù)畫師進(jìn)行前期概念設(shè)計(jì)。再次是，團(tuán)隊(duì)也在探索生成三視圖、高精度3D模型。

像美術(shù)SaaS工具方面，圖標(biāo)生成工具已經(jīng)非常成熟。據(jù)悉當(dāng)前雷火事業(yè)群已利用伏羲AI繪畫能力，批量化生成表情、道具、技能圖標(biāo)等。

從上圖不難看出，美術(shù)表情圖標(biāo)，道具寶箱圖標(biāo)以及漩渦、蓮花技能圖標(biāo)，均已具備落地應(yīng)用價(jià)值。

競核了解到，伏羲正在把上述繪畫能力往玩法端推進(jìn)。像近期《永劫無間》中新上線AI智繪·時(shí)裝共創(chuàng)企劃，玩家可利用AI繪畫生成時(shí)裝，接著投票看誰最受歡迎。這種創(chuàng)新玩法，一方面有助于激發(fā)玩家共創(chuàng)熱情；另一方面它也為項(xiàng)目組美術(shù)打造新時(shí)裝提供參考。

除開智能捏臉、繪畫能力外，伏羲還布局了文本生成、競技機(jī)器人、動(dòng)畫制作等多個(gè)游戲環(huán)節(jié)。需要指出的是，伏羲AI能力在游戲領(lǐng)域外也有所斬獲，比如挖掘機(jī)器人、人機(jī)協(xié)作線上任務(wù)平臺(tái)有靈機(jī)器人等。

面向未來，伏羲實(shí)驗(yàn)室會(huì)從縱橫兩個(gè)方向進(jìn)行深耕：縱向上，在原有技術(shù)上把體驗(yàn)上往前推一步；橫向上，用AIGC做一些創(chuàng)新性的玩法或體驗(yàn)，給游戲帶來亮點(diǎn)。

不久前，筆者有幸跟睿風(fēng)展開過一次深度交流。在那次交流中，我們還討論了伏羲跟游戲項(xiàng)目組日常溝通模式；AIGC要想規(guī)?；瘧?yīng)用于游戲領(lǐng)域，如何去解決算力、通用性等挑戰(zhàn)；伏羲戰(zhàn)略的最新進(jìn)展以及背后的原因。

以下是本次交流部分內(nèi)容，略經(jīng)編輯：

問：伏羲正在探索哪些AIGC落地游戲的場景？

睿風(fēng)：網(wǎng)易伏羲目前在AI繪畫方面有兩個(gè)落地方向。

一個(gè)是偏向開發(fā)側(cè)的美術(shù)制作管線，去提升美術(shù)的制作效率。這個(gè)方向目前在內(nèi)部的探索過程中，目標(biāo)比較明確，也對業(yè)務(wù)團(tuán)隊(duì)有較大的價(jià)值，未來可能會(huì)推出一個(gè)SaaS工具。

日常工作中，網(wǎng)易伏羲和網(wǎng)易游戲的美術(shù)團(tuán)隊(duì)有著非常緊密的合作，比較清楚游戲美術(shù)的整個(gè)制作流程，所以這個(gè)平臺(tái)本身會(huì)更方便游戲美術(shù)的制作習(xí)慣。但是，我們探索下來發(fā)現(xiàn)，現(xiàn)在的AIGC效果還不能真正達(dá)到專業(yè)美術(shù)的制作水平。所以目前在美術(shù)生產(chǎn)管線中，有幾個(gè)點(diǎn)可以應(yīng)用。

針對研發(fā)側(cè)，第一塊是一些長尾需求。這些需求大多屬于質(zhì)量要求沒那么高，但比較瑣碎又持續(xù)產(chǎn)生的那類。比如說道具圖標(biāo)、物品圖標(biāo)、技能圖標(biāo)等。從我們和游戲團(tuán)隊(duì)交流得到的信息，它其實(shí)是一個(gè)比較穩(wěn)定的生產(chǎn)需求，可能每個(gè)月都有定量需求。但對美術(shù)團(tuán)隊(duì)來說，這類工作非常簡單但卻耗時(shí)，團(tuán)隊(duì)幾乎每個(gè)人都會(huì)投入去做。

所以他們希望這種工作能交給AI，因?yàn)樗璧膭?chuàng)造性較少，對于作品質(zhì)量的要求也相對可控，AIGC能力基本可以彌補(bǔ)對方的生產(chǎn)需求，讓美術(shù)團(tuán)隊(duì)可以投身大場景、大角色的制作，這是當(dāng)下AIGC能與游戲團(tuán)隊(duì)達(dá)成明確合作的方向之一。

第二塊就是美術(shù)原型制作中的一些概念設(shè)計(jì)，這個(gè)也是目前看起來比較明確的需求。主要是幫助游戲團(tuán)隊(duì)找一些靈感雖然產(chǎn)出的作品可能達(dá)不到直接使用的制作要求，但促進(jìn)靈感的同時(shí)，團(tuán)隊(duì)可以在AI的基礎(chǔ)上再做修改。

其實(shí)現(xiàn)在很多美術(shù)團(tuán)隊(duì)都會(huì)去體驗(yàn)AIGC工具，不管是伏羲還是外部團(tuán)隊(duì)的產(chǎn)品。因?yàn)樗麄冊镜闹谱鞣绞街校矔?huì)參考很多市面上的圖片，以期啟發(fā)靈感。

問：玩家側(cè)這塊，會(huì)有哪些應(yīng)用場景嗎？

睿風(fēng)：玩家項(xiàng)目是我們另外一個(gè)落地點(diǎn)。雖然AIGC效果達(dá)不到游戲開發(fā)的美術(shù)標(biāo)準(zhǔn)，但對于普通用戶來說，它的效果其實(shí)已經(jīng)非常不錯(cuò)了。所以，我們想把AIGC和游戲玩法做一些結(jié)合，通過游戲策略的設(shè)計(jì)，把它做成像游戲的交互式玩法，讓用戶在游戲中體驗(yàn)我們各種AIGC的能力。

這方面目前伏羲及游戲團(tuán)隊(duì)正在探索落地過程，今年應(yīng)該會(huì)有一些游戲能讓玩家能體驗(yàn)到這種能力。我們也希望能讓用戶可以真正地長期體驗(yàn)下去，而不僅是受新鮮感驅(qū)動(dòng)短暫的體驗(yàn)。

問：我們知道像伏羲服務(wù)的游戲產(chǎn)品品類非常豐富。那不同的品類，他們對AIGC能力最強(qiáng)烈的需求點(diǎn)是什么？

睿風(fēng)：確實(shí)我們感覺不同品類的差異還是比較大。比如MMORPG，就是那種角色代入感沉浸感非常強(qiáng)的游戲。玩家在里面是在扮演一個(gè)角色，去體驗(yàn)這種游戲更偏向于真實(shí)世界的感受，并把情感代入進(jìn)去。

很多3A游戲，比如戰(zhàn)神，會(huì)給玩家設(shè)計(jì)一個(gè)AI隨從，或者說伙伴跟在后面。這樣做就是讓玩家，在游戲過程中和它產(chǎn)生一個(gè)情感共鳴。MMORPG也是這樣，我們希望制造出這樣的一個(gè)氛圍。

如果游戲里所有NPC都有這樣的一個(gè)能力，有自己的世界觀和背景故事，就能有非常好的體驗(yàn)。我覺得對MMORPG來說，AIGC是它非常需要的，能讓游戲內(nèi)所有人物都活過來的技術(shù)。

NLP技術(shù)只是其中一點(diǎn)，還有CV、語音等都是需要的。因?yàn)椴煌?/span>ChatGPT這類外部聊天，玩家和NPC是在虛擬世界里聊天，且能夠看到對方。他的表情、動(dòng)作、口型、語音，是不是真的是像一個(gè)人一樣能跟你去表達(dá)。所以這里面，NLP是比較核心的一塊，但也只是其中一塊而已，它應(yīng)該是完整的一套體系。

問：在MOBA等強(qiáng)競技性游戲中，它對AI哪項(xiàng)能力要求最高？

睿風(fēng)：我們再舉一個(gè)MOBA或者FPS這類對戰(zhàn)型游戲的例子。這類游戲的玩家目的很明確，上來就是和對手進(jìn)行激烈的競爭，所以在情感代入方面會(huì)弱一些，更需要的還是好的競技體驗(yàn)。這背后對AI技術(shù)中的決策型AI的能力要求更高。

問：針對您舉的這兩個(gè)例子，MMORPG這種就是大家常說的EQ要高一點(diǎn)，像MOBA這類的就是IQ這邊要高一點(diǎn)。其實(shí)整個(gè)市場上面的AI創(chuàng)業(yè)公司其實(shí)差不多也是圍繞這兩條線在走。而像網(wǎng)易、騰訊這樣的大公司，則是兩條線同步進(jìn)行。那這兩條線要把它做到讓項(xiàng)目組滿意，能給項(xiàng)目帶來增值價(jià)值，這里面的難點(diǎn)挑戰(zhàn)在哪里？我們又是怎么去克服的？

睿風(fēng)：這個(gè)事情，說難是難，說簡單也簡單。

簡單在于，如果只是單純的把原來的技術(shù)落地到一個(gè)新的項(xiàng)目里面，我覺得不難。但實(shí)際效果是不是真的滿足了游戲CP的需求，甚至超出他們的預(yù)期，這個(gè)是有難度的。

具體來說，以就拿伏羲為例，我們和游戲部門關(guān)系會(huì)比較緊密，所以經(jīng)過這么多年的積累，我們在很多項(xiàng)目上已經(jīng)有了一些落地，這些技術(shù)成果已經(jīng)基本上得到了開發(fā)者的認(rèn)可。再把這些通過時(shí)間沉淀下來的技術(shù)和落地場景，推到一個(gè)新的項(xiàng)目上面去跟他們結(jié)合去落地，其實(shí)比較容易。

因?yàn)槲覀兛梢酝ㄟ^AB測試等方式，跟它原來的技術(shù)方案的數(shù)據(jù)積累做對比。可以去證明AI是能幫助游戲提升，能夠帶來賦能。

難的就是，我們以前做過這些東西，慢慢的成為了現(xiàn)在游戲內(nèi)的一些標(biāo)品。網(wǎng)易這邊很多游戲，都已經(jīng)在用這些技術(shù)了。這使得我們要面臨兩個(gè)問題，一個(gè)是新技術(shù)能不能做的比原來做得更好？另一個(gè)就是，AI能不能給游戲帶來很多差異化的體驗(yàn)？

針對這種情況，我覺得可以從兩方面著手：縱向上，在原有技術(shù)上把體驗(yàn)上往前推一步；橫向上，用AIGC做一些創(chuàng)新性的玩法或體驗(yàn)，給游戲帶來亮點(diǎn)。

沉淀數(shù)據(jù)、打磨算法模型、包括對持續(xù)深入對業(yè)務(wù)與產(chǎn)品的理解，都是網(wǎng)易伏羲團(tuán)隊(duì)堅(jiān)持在做的事情。并且網(wǎng)易伏羲從2019年起就堅(jiān)持RLHF的算法思路，這些都是伏羲的技術(shù)發(fā)展的基石。

問：我們看到一個(gè)很有意思的現(xiàn)象，對于AI，游戲大廠選擇自己做。中型廠商則選擇投一家公司給我做。這種格局是越來越固化了，您覺得這個(gè)格局未來會(huì)有分化的可能性嗎？可能一些中小廠商的也會(huì)采用咱們的一個(gè)技術(shù)，你就會(huì)有這種可能性嗎？

睿風(fēng)：我覺得一定存在此類的需求場景，比如Open AI這樣的公司，它的底層能力確實(shí)是非常好，但他們也不會(huì)做下游應(yīng)用，其理念應(yīng)該還是賣基礎(chǔ)模型和API。我覺得未來國內(nèi)應(yīng)該也會(huì)有這樣的一些公司去做這樣的事情。

因?yàn)榈讓哟竽Ｐ偷挠?xùn)練，成本是非常高的，每個(gè)公司都能巨量投入去一個(gè)大模型是不現(xiàn)實(shí)的。所以我覺得未來肯定會(huì)有一個(gè)偏向openAI理念的公司，在國內(nèi)做底層的大模型。

下一步可能會(huì)有中間層，比如針對游戲領(lǐng)域，可能會(huì)有一家公司，專門基于底層大模型去做適應(yīng)游戲需求的微調(diào)，面向那些中小游戲團(tuán)隊(duì)，直接售賣或者提供服務(wù)。或者說有些小團(tuán)隊(duì)，基于底層的大模型自己做也可以。 

當(dāng)模型越來越大，AI訓(xùn)練成本越來越高的時(shí)候，這樣形態(tài)分化的可能性還是很高的。基于大模型，面向應(yīng)用層的公司在海外其實(shí)已經(jīng)很成熟了。像Jasper ai，它就是基于openAI做了一個(gè)下游應(yīng)用，按照這個(gè)發(fā)展路徑，國內(nèi)應(yīng)該也是類似。

問：面向游戲公司這一塊，伏羲目前還是在賣解決方案嗎？除了游戲行業(yè)，伏羲也有像一些元宇宙、機(jī)器人廠商這樣的一些客戶，在這個(gè)方向上，商業(yè)模式會(huì)有什么創(chuàng)新點(diǎn)？除了賣定制的解決方案，賣調(diào)用之外，你覺得還有什么新的商業(yè)模式會(huì)出現(xiàn)？或者說，對伏羲來說，更加可持續(xù)的方式是什么？

睿風(fēng)：目前網(wǎng)易伏羲更傾向于先把集團(tuán)內(nèi)部的支撐做好，將差異化的亮點(diǎn)先做出來，給游戲成功帶來價(jià)值，對伏羲來說業(yè)務(wù)價(jià)值的實(shí)現(xiàn)是團(tuán)隊(duì)踐行的最高衡量標(biāo)準(zhǔn)。

我們也在持續(xù)探索人機(jī)協(xié)作的技術(shù)思路，結(jié)合人工反饋和強(qiáng)化學(xué)習(xí)來提升AI的效果。之所以要做人機(jī)協(xié)作，是AI本身存在很多缺陷，即使像GPT做的這么好，仍然存在回答不是很好的問題。

所以我們的觀點(diǎn)是，既然AI很難100%解決問題，我們就運(yùn)用RLHF的思想，讓機(jī)器在幫助人類與環(huán)境交互完成任務(wù)的過程中，即模仿學(xué)習(xí)人類的認(rèn)知或決策能力，又能學(xué)習(xí)出一套仿真的反饋評價(jià)機(jī)制，從而在孿生環(huán)境中更高效地進(jìn)化學(xué)習(xí)。 

通過這樣的一個(gè)思路，伏羲正在打造一個(gè)人機(jī)協(xié)作的平臺(tái)。

問：從去年開始，伏羲陸續(xù)有布局元宇宙、機(jī)器人等業(yè)務(wù)。想問一下，跟往年相比，您今年工作重點(diǎn)可能會(huì)有哪些新變化？

睿風(fēng)：其實(shí)我們?nèi)プ鐾诰驒C(jī)器人有明確的一個(gè)思路，簡單來講，就是把我們在游戲行業(yè)做AI沉淀五年多的經(jīng)驗(yàn)，復(fù)用至其它行業(yè)。

我們認(rèn)為現(xiàn)在AI行業(yè)，包括比較火的AIGC，其實(shí)偏向于數(shù)據(jù)驅(qū)動(dòng)的技術(shù)。即這個(gè)技術(shù)本身非常依賴于數(shù)據(jù)。數(shù)據(jù)從哪來？我們認(rèn)為數(shù)據(jù)本身就是由人創(chuàng)造，所以我們會(huì)用一種人機(jī)協(xié)作的思路去做接下去的一些事情，不管是挖機(jī)這種場景，還是說我們今年在做的一些AIGC落地嘗試。我們都會(huì)用這種思路來推進(jìn)。

我們不會(huì)做一個(gè)完全無人的挖機(jī)，而是把它做成一個(gè)數(shù)據(jù)閉環(huán)、人機(jī)協(xié)作的挖機(jī)。比如，前期有挖機(jī)師傅在挖，我們會(huì)把他的一些操作數(shù)據(jù)都記錄下來。接下來，通過采用數(shù)據(jù)閉環(huán)這種形式去訓(xùn)練、不斷提升 AI能力，從而達(dá)到減少挖機(jī)師傅工作量的目標(biāo)。

在一些極端工作環(huán)境下，可能會(huì)讓AI來介入，用人機(jī)協(xié)作的方式來提高效率。與此同時(shí)，也降低了工作人員的負(fù)擔(dān)。

總的來說，人機(jī)協(xié)作模式是我們今年主要研究的方向。目前，我們也在自建眾包平臺(tái)，將更多人拉到我們生態(tài)圈，通過大家的幫助不斷提升AI能力。后續(xù)我們會(huì)逐漸完善這套平臺(tái)系統(tǒng)，使得它在接入任何需要AI的實(shí)際場景時(shí)，能夠盡可能地降低接入門檻。

問：從產(chǎn)業(yè)視角來看，您覺得可能它會(huì)出現(xiàn)哪些新的、好的變化？除了算力挑戰(zhàn)之外，還可能會(huì)遇到哪些難題？

睿風(fēng)：好的變化很顯然?，F(xiàn)在疫情過了，大家都以經(jīng)濟(jì)發(fā)展為最主要的目標(biāo)。國外AIGC的熱潮也在影響國內(nèi)的投資圈，很多資本關(guān)注了這一塊。給了國內(nèi)很多有志于AIGC領(lǐng)域的人，有機(jī)會(huì)拿到資源去做事情，這是好的一面。

同時(shí)，因?yàn)榇_實(shí)有國外廠商走在前面，所以到底有哪些應(yīng)用場景比較有商業(yè)價(jià)值和潛力。對國內(nèi)來說并不是完全摸著石頭去過河，可以減少很多試錯(cuò)成本。

至于不足的地方，人才方面有一些欠缺。國內(nèi)在大模型的建設(shè)上持續(xù)投入了很多年，但這部分的積累并不是特別深，相關(guān)經(jīng)驗(yàn)的人才還是不多。這會(huì)阻礙模型做出很好的效果。

另外，也要取決于國內(nèi)的決策者、投資者有沒有耐心。因?yàn)檫@是個(gè)慢工出細(xì)活的事情，不是說去年準(zhǔn)備了，今年GPT就做出來了。需要好多年的積累才能到那一步。行業(yè)的投資者、創(chuàng)業(yè)公司、管理者需要有足夠的耐心去支撐這個(gè)技術(shù)的積累和發(fā)展。

問：如果我們把大的趨勢聚焦在游戲這個(gè)領(lǐng)域呢？

睿風(fēng)：游戲領(lǐng)域的話，首先就是AIGC技術(shù)在游戲里的落地，不管是網(wǎng)易的逆水寒手游，還是其它游戲，都或多或少的用很多AIGC技術(shù)去提升這個(gè)游戲開發(fā)效率。或是說在玩法體驗(yàn)上進(jìn)行嘗試。

另外，降本的效果很明顯。比如AI繪畫技術(shù)，我們發(fā)現(xiàn)在很多場景下確實(shí)可以做到提高工作效率，降低開發(fā)成本。另外能不能做一些新奇的玩法，以及一些以前不敢想的事情，這需要網(wǎng)易伏羲及業(yè)內(nèi)伙伴一起去探索可能性。

至于挑戰(zhàn)，對于伏羲實(shí)驗(yàn)室來說，是如何在人工智能技術(shù)日新月異的今天，做出更有競爭力的技術(shù)和產(chǎn)品，并且同時(shí)滿足玩家和項(xiàng)目組的要求。但是網(wǎng)易伏羲也在探索一條合適的道路——結(jié)合人工反饋和強(qiáng)化學(xué)習(xí)來提升效果，這也是伏羲實(shí)驗(yàn)室的技術(shù)源頭與基礎(chǔ)。

問：對于游戲領(lǐng)域的AIGC，您能夠覺察到的，或是希望看到的未來趨勢有哪些？

睿風(fēng)：我覺得AIGC在游戲領(lǐng)域必然能大量落地。從兩個(gè)層次，一個(gè)是提升游戲開發(fā)效率，降低開發(fā)成本，尤其是美術(shù)的開發(fā)成本。如果能把這部分的效率提升5%-10%，對成本的降低都是非常顯著的。所以我個(gè)人覺得這個(gè)方向是比較明確的，目前行業(yè)有不少的游戲團(tuán)隊(duì)已經(jīng)開始用AI繪畫工具去輔助創(chuàng)作了。

另外一塊就是對游戲的這種場景來說，用文字和圖片等來直接生成3D模型。未來發(fā)展上，游戲行業(yè)是有非常強(qiáng)的動(dòng)力去促使技術(shù)往這個(gè)方向發(fā)展的。

問：關(guān)于伏羲，在游戲或者說非游戲行業(yè)這一塊，您覺得還有方面需要補(bǔ)充的？

睿風(fēng)： 目前，我們主要聚焦于兩塊，第一是游戲本身對于游戲行業(yè)的賦能，主要面向網(wǎng)易內(nèi)部的游戲團(tuán)隊(duì)，以及對人工智能技術(shù)的探索和深入研究。這需要持續(xù)地投入和發(fā)展，目前我們已經(jīng)有了比較豐富的積累和沉淀。

第二就是人機(jī)協(xié)作的發(fā)展思路，這是網(wǎng)易在游戲引擎及AI領(lǐng)域積累的深度融合，解決大規(guī)模算力數(shù)據(jù)及預(yù)訓(xùn)練模型閉環(huán)問題。目前有靈眾包平臺(tái)已處理了上億級(jí)的數(shù)據(jù)量，在保證了游戲AI性能的同時(shí)，可以更加高效地收集游戲玩家的反饋，進(jìn)一步提升AI性能。

《逆水寒》手游也是基于該技術(shù)為玩家?guī)砀咦杂啥鹊闹悄躈PC玩法，今后將有更多游戲接入這項(xiàng)技術(shù)，為用戶提供更極致的沉浸式交互體驗(yàn)。我們也期待這項(xiàng)在游戲場景中不斷迭代的技術(shù)，未來能應(yīng)用在更多元的場景之中。