揭秘網(wǎng)易伏羲AIGC：內(nèi)測繪畫工具，落地多款產(chǎn)品推了好些新玩法

“在AIGC領域，網(wǎng)易伏羲確實很多都走在前列，比如捏臉、文本生成等。”

這是上周四（3月30日）網(wǎng)易伏羲AI研究&技術(shù)落地負責人睿風分享后，與會者普遍的觀感。確實，網(wǎng)易伏羲實驗室成立五年多來，一直專注于AI賦能游戲及泛娛樂領域，積累了豐富的實戰(zhàn)經(jīng)驗。

以捏臉技術(shù)為例。伏羲持續(xù)探索AIGC智能捏臉的相關(guān)技術(shù)，并首創(chuàng)了照片捏臉、文字捏臉等技術(shù)能力，這些都為業(yè)界探索智能捏臉提供了寶貴的經(jīng)驗。

睿風分享道，AIGC智能捏臉技術(shù)框架整體上基于照片捏臉。升級之處在于，中間嵌入了一個CLIP Model，這樣便可發(fā)掘人臉美學規(guī)律，批量生成好看不重樣的游戲角色。

相較于外部模型，伏羲這套技術(shù)優(yōu)勢在于數(shù)據(jù)更精準，生成資產(chǎn)更符合游戲業(yè)務需要。競核了解到，今年六月份《逆水寒》手游中會搭載這一新玩法，所有玩家均可體驗。

需要指出的是，這套技術(shù)目前已應用至美術(shù)生產(chǎn)管線中。要言之，在開發(fā)端美術(shù)可快速生成智能NPC，且符合策劃塑造人設的要求。

在當天分享會上，睿風還分享了伏羲在AI繪畫領域的最新進展。目前，伏羲AI繪畫正在往三個方向探索。首先，內(nèi)部正在測試Midjourney類SaaS工具，偏向整合至開發(fā)側(cè)美術(shù)制作管線中。其次，則是推出輔助型工具，幫助美術(shù)畫師進行前期概念設計。再次是，團隊也在探索生成三視圖、高精度3D模型。

像美術(shù)SaaS工具方面，圖標生成工具已經(jīng)非常成熟。據(jù)悉當前雷火事業(yè)群已利用伏羲AI繪畫能力，批量化生成表情、道具、技能圖標等。

從上圖不難看出，美術(shù)表情圖標，道具寶箱圖標以及漩渦、蓮花技能圖標，均已具備落地應用價值。

競核了解到，伏羲正在把上述繪畫能力往玩法端推進。像近期《永劫無間》中新上線AI智繪·時裝共創(chuàng)企劃，玩家可利用AI繪畫生成時裝，接著投票看誰最受歡迎。這種創(chuàng)新玩法，一方面有助于激發(fā)玩家共創(chuàng)熱情；另一方面它也為項目組美術(shù)打造新時裝提供參考。

除開智能捏臉、繪畫能力外，伏羲還布局了文本生成、競技機器人、動畫制作等多個游戲環(huán)節(jié)。需要指出的是，伏羲AI能力在游戲領域外也有所斬獲，比如挖掘機器人、人機協(xié)作線上任務平臺有靈機器人等。

面向未來，伏羲實驗室會從縱橫兩個方向進行深耕：縱向上，在原有技術(shù)上把體驗上往前推一步；橫向上，用AIGC做一些創(chuàng)新性的玩法或體驗，給游戲帶來亮點。

不久前，筆者有幸跟睿風展開過一次深度交流。在那次交流中，我們還討論了伏羲跟游戲項目組日常溝通模式；AIGC要想規(guī)?；瘧糜谟螒蝾I域，如何去解決算力、通用性等挑戰(zhàn)；伏羲戰(zhàn)略的最新進展以及背后的原因。

以下是本次交流部分內(nèi)容，略經(jīng)編輯：

問：伏羲正在探索哪些AIGC落地游戲的場景？

睿風：網(wǎng)易伏羲目前在AI繪畫方面有兩個落地方向。

一個是偏向開發(fā)側(cè)的美術(shù)制作管線，去提升美術(shù)的制作效率。這個方向目前在內(nèi)部的探索過程中，目標比較明確，也對業(yè)務團隊有較大的價值，未來可能會推出一個SaaS工具。

日常工作中，網(wǎng)易伏羲和網(wǎng)易游戲的美術(shù)團隊有著非常緊密的合作，比較清楚游戲美術(shù)的整個制作流程，所以這個平臺本身會更方便游戲美術(shù)的制作習慣。但是，我們探索下來發(fā)現(xiàn)，現(xiàn)在的AIGC效果還不能真正達到專業(yè)美術(shù)的制作水平。所以目前在美術(shù)生產(chǎn)管線中，有幾個點可以應用。

針對研發(fā)側(cè)，第一塊是一些長尾需求。這些需求大多屬于質(zhì)量要求沒那么高，但比較瑣碎又持續(xù)產(chǎn)生的那類。比如說道具圖標、物品圖標、技能圖標等。從我們和游戲團隊交流得到的信息，它其實是一個比較穩(wěn)定的生產(chǎn)需求，可能每個月都有定量需求。但對美術(shù)團隊來說，這類工作非常簡單但卻耗時，團隊幾乎每個人都會投入去做。

所以他們希望這種工作能交給AI，因為它所需的創(chuàng)造性較少，對于作品質(zhì)量的要求也相對可控，AIGC能力基本可以彌補對方的生產(chǎn)需求，讓美術(shù)團隊可以投身大場景、大角色的制作，這是當下AIGC能與游戲團隊達成明確合作的方向之一。

第二塊就是美術(shù)原型制作中的一些概念設計，這個也是目前看起來比較明確的需求。主要是幫助游戲團隊找一些靈感雖然產(chǎn)出的作品可能達不到直接使用的制作要求，但促進靈感的同時，團隊可以在AI的基礎上再做修改。

其實現(xiàn)在很多美術(shù)團隊都會去體驗AIGC工具，不管是伏羲還是外部團隊的產(chǎn)品。因為他們原本的制作方式中，也會參考很多市面上的圖片，以期啟發(fā)靈感。

問：玩家側(cè)這塊，會有哪些應用場景嗎？

睿風：玩家項目是我們另外一個落地點。雖然AIGC效果達不到游戲開發(fā)的美術(shù)標準，但對于普通用戶來說，它的效果其實已經(jīng)非常不錯了。所以，我們想把AIGC和游戲玩法做一些結(jié)合，通過游戲策略的設計，把它做成像游戲的交互式玩法，讓用戶在游戲中體驗我們各種AIGC的能力。

這方面目前伏羲及游戲團隊正在探索落地過程，今年應該會有一些游戲能讓玩家能體驗到這種能力。我們也希望能讓用戶可以真正地長期體驗下去，而不僅是受新鮮感驅(qū)動短暫的體驗。

問：我們知道像伏羲服務的游戲產(chǎn)品品類非常豐富。那不同的品類，他們對AIGC能力最強烈的需求點是什么？

睿風：確實我們感覺不同品類的差異還是比較大。比如MMORPG，就是那種角色代入感沉浸感非常強的游戲。玩家在里面是在扮演一個角色，去體驗這種游戲更偏向于真實世界的感受，并把情感代入進去。

很多3A游戲，比如戰(zhàn)神，會給玩家設計一個AI隨從，或者說伙伴跟在后面。這樣做就是讓玩家，在游戲過程中和它產(chǎn)生一個情感共鳴。MMORPG也是這樣，我們希望制造出這樣的一個氛圍。

如果游戲里所有NPC都有這樣的一個能力，有自己的世界觀和背景故事，就能有非常好的體驗。我覺得對MMORPG來說，AIGC是它非常需要的，能讓游戲內(nèi)所有人物都活過來的技術(shù)。

NLP技術(shù)只是其中一點，還有CV、語音等都是需要的。因為不同于ChatGPT這類外部聊天，玩家和NPC是在虛擬世界里聊天，且能夠看到對方。他的表情、動作、口型、語音，是不是真的是像一個人一樣能跟你去表達。所以這里面，NLP是比較核心的一塊，但也只是其中一塊而已，它應該是完整的一套體系。

問：在MOBA等強競技性游戲中，它對AI哪項能力要求最高？

睿風：我們再舉一個MOBA或者FPS這類對戰(zhàn)型游戲的例子。這類游戲的玩家目的很明確，上來就是和對手進行激烈的競爭，所以在情感代入方面會弱一些，更需要的還是好的競技體驗。這背后對AI技術(shù)中的決策型AI的能力要求更高。

問：針對您舉的這兩個例子，MMORPG這種就是大家常說的EQ要高一點，像MOBA這類的就是IQ這邊要高一點。其實整個市場上面的AI創(chuàng)業(yè)公司其實差不多也是圍繞這兩條線在走。而像網(wǎng)易、騰訊這樣的大公司，則是兩條線同步進行。那這兩條線要把它做到讓項目組滿意，能給項目帶來增值價值，這里面的難點挑戰(zhàn)在哪里？我們又是怎么去克服的？

睿風：這個事情，說難是難，說簡單也簡單。

簡單在于，如果只是單純的把原來的技術(shù)落地到一個新的項目里面，我覺得不難。但實際效果是不是真的滿足了游戲CP的需求，甚至超出他們的預期，這個是有難度的。

具體來說，以就拿伏羲為例，我們和游戲部門關(guān)系會比較緊密，所以經(jīng)過這么多年的積累，我們在很多項目上已經(jīng)有了一些落地，這些技術(shù)成果已經(jīng)基本上得到了開發(fā)者的認可。再把這些通過時間沉淀下來的技術(shù)和落地場景，推到一個新的項目上面去跟他們結(jié)合去落地，其實比較容易。

因為我們可以通過AB測試等方式，跟它原來的技術(shù)方案的數(shù)據(jù)積累做對比。可以去證明AI是能幫助游戲提升，能夠帶來賦能。

難的就是，我們以前做過這些東西，慢慢的成為了現(xiàn)在游戲內(nèi)的一些標品。網(wǎng)易這邊很多游戲，都已經(jīng)在用這些技術(shù)了。這使得我們要面臨兩個問題，一個是新技術(shù)能不能做的比原來做得更好？另一個就是，AI能不能給游戲帶來很多差異化的體驗？

針對這種情況，我覺得可以從兩方面著手：縱向上，在原有技術(shù)上把體驗上往前推一步；橫向上，用AIGC做一些創(chuàng)新性的玩法或體驗，給游戲帶來亮點。

沉淀數(shù)據(jù)、打磨算法模型、包括對持續(xù)深入對業(yè)務與產(chǎn)品的理解，都是網(wǎng)易伏羲團隊堅持在做的事情。并且網(wǎng)易伏羲從2019年起就堅持RLHF的算法思路，這些都是伏羲的技術(shù)發(fā)展的基石。

問：我們看到一個很有意思的現(xiàn)象，對于AI，游戲大廠選擇自己做。中型廠商則選擇投一家公司給我做。這種格局是越來越固化了，您覺得這個格局未來會有分化的可能性嗎？可能一些中小廠商的也會采用咱們的一個技術(shù)，你就會有這種可能性嗎？

睿風：我覺得一定存在此類的需求場景，比如Open AI這樣的公司，它的底層能力確實是非常好，但他們也不會做下游應用，其理念應該還是賣基礎模型和API。我覺得未來國內(nèi)應該也會有這樣的一些公司去做這樣的事情。

因為底層大模型的訓練，成本是非常高的，每個公司都能巨量投入去一個大模型是不現(xiàn)實的。所以我覺得未來肯定會有一個偏向openAI理念的公司，在國內(nèi)做底層的大模型。

下一步可能會有中間層，比如針對游戲領域，可能會有一家公司，專門基于底層大模型去做適應游戲需求的微調(diào)，面向那些中小游戲團隊，直接售賣或者提供服務。或者說有些小團隊，基于底層的大模型自己做也可以。 

當模型越來越大，AI訓練成本越來越高的時候，這樣形態(tài)分化的可能性還是很高的。基于大模型，面向應用層的公司在海外其實已經(jīng)很成熟了。像Jasper ai，它就是基于openAI做了一個下游應用，按照這個發(fā)展路徑，國內(nèi)應該也是類似。

問：面向游戲公司這一塊，伏羲目前還是在賣解決方案嗎？除了游戲行業(yè)，伏羲也有像一些元宇宙、機器人廠商這樣的一些客戶，在這個方向上，商業(yè)模式會有什么創(chuàng)新點？除了賣定制的解決方案，賣調(diào)用之外，你覺得還有什么新的商業(yè)模式會出現(xiàn)？或者說，對伏羲來說，更加可持續(xù)的方式是什么？

睿風：目前網(wǎng)易伏羲更傾向于先把集團內(nèi)部的支撐做好，將差異化的亮點先做出來，給游戲成功帶來價值，對伏羲來說業(yè)務價值的實現(xiàn)是團隊踐行的最高衡量標準。

我們也在持續(xù)探索人機協(xié)作的技術(shù)思路，結(jié)合人工反饋和強化學習來提升AI的效果。之所以要做人機協(xié)作，是AI本身存在很多缺陷，即使像GPT做的這么好，仍然存在回答不是很好的問題。

所以我們的觀點是，既然AI很難100%解決問題，我們就運用RLHF的思想，讓機器在幫助人類與環(huán)境交互完成任務的過程中，即模仿學習人類的認知或決策能力，又能學習出一套仿真的反饋評價機制，從而在孿生環(huán)境中更高效地進化學習。 

通過這樣的一個思路，伏羲正在打造一個人機協(xié)作的平臺。

問：從去年開始，伏羲陸續(xù)有布局元宇宙、機器人等業(yè)務。想問一下，跟往年相比，您今年工作重點可能會有哪些新變化？

睿風：其實我們?nèi)プ鐾诰驒C器人有明確的一個思路，簡單來講，就是把我們在游戲行業(yè)做AI沉淀五年多的經(jīng)驗，復用至其它行業(yè)。

我們認為現(xiàn)在AI行業(yè)，包括比較火的AIGC，其實偏向于數(shù)據(jù)驅(qū)動的技術(shù)。即這個技術(shù)本身非常依賴于數(shù)據(jù)。數(shù)據(jù)從哪來？我們認為數(shù)據(jù)本身就是由人創(chuàng)造，所以我們會用一種人機協(xié)作的思路去做接下去的一些事情，不管是挖機這種場景，還是說我們今年在做的一些AIGC落地嘗試。我們都會用這種思路來推進。

我們不會做一個完全無人的挖機，而是把它做成一個數(shù)據(jù)閉環(huán)、人機協(xié)作的挖機。比如，前期有挖機師傅在挖，我們會把他的一些操作數(shù)據(jù)都記錄下來。接下來，通過采用數(shù)據(jù)閉環(huán)這種形式去訓練、不斷提升 AI能力，從而達到減少挖機師傅工作量的目標。

在一些極端工作環(huán)境下，可能會讓AI來介入，用人機協(xié)作的方式來提高效率。與此同時，也降低了工作人員的負擔。

總的來說，人機協(xié)作模式是我們今年主要研究的方向。目前，我們也在自建眾包平臺，將更多人拉到我們生態(tài)圈，通過大家的幫助不斷提升AI能力。后續(xù)我們會逐漸完善這套平臺系統(tǒng)，使得它在接入任何需要AI的實際場景時，能夠盡可能地降低接入門檻。

問：從產(chǎn)業(yè)視角來看，您覺得可能它會出現(xiàn)哪些新的、好的變化？除了算力挑戰(zhàn)之外，還可能會遇到哪些難題？

睿風：好的變化很顯然?，F(xiàn)在疫情過了，大家都以經(jīng)濟發(fā)展為最主要的目標。國外AIGC的熱潮也在影響國內(nèi)的投資圈，很多資本關(guān)注了這一塊。給了國內(nèi)很多有志于AIGC領域的人，有機會拿到資源去做事情，這是好的一面。

同時，因為確實有國外廠商走在前面，所以到底有哪些應用場景比較有商業(yè)價值和潛力。對國內(nèi)來說并不是完全摸著石頭去過河，可以減少很多試錯成本。

至于不足的地方，人才方面有一些欠缺。國內(nèi)在大模型的建設上持續(xù)投入了很多年，但這部分的積累并不是特別深，相關(guān)經(jīng)驗的人才還是不多。這會阻礙模型做出很好的效果。

另外，也要取決于國內(nèi)的決策者、投資者有沒有耐心。因為這是個慢工出細活的事情，不是說去年準備了，今年GPT就做出來了。需要好多年的積累才能到那一步。行業(yè)的投資者、創(chuàng)業(yè)公司、管理者需要有足夠的耐心去支撐這個技術(shù)的積累和發(fā)展。

問：如果我們把大的趨勢聚焦在游戲這個領域呢？

睿風：游戲領域的話，首先就是AIGC技術(shù)在游戲里的落地，不管是網(wǎng)易的逆水寒手游，還是其它游戲，都或多或少的用很多AIGC技術(shù)去提升這個游戲開發(fā)效率?；蚴钦f在玩法體驗上進行嘗試。

另外，降本的效果很明顯。比如AI繪畫技術(shù)，我們發(fā)現(xiàn)在很多場景下確實可以做到提高工作效率，降低開發(fā)成本。另外能不能做一些新奇的玩法，以及一些以前不敢想的事情，這需要網(wǎng)易伏羲及業(yè)內(nèi)伙伴一起去探索可能性。

至于挑戰(zhàn)，對于伏羲實驗室來說，是如何在人工智能技術(shù)日新月異的今天，做出更有競爭力的技術(shù)和產(chǎn)品，并且同時滿足玩家和項目組的要求。但是網(wǎng)易伏羲也在探索一條合適的道路——結(jié)合人工反饋和強化學習來提升效果，這也是伏羲實驗室的技術(shù)源頭與基礎。

問：對于游戲領域的AIGC，您能夠覺察到的，或是希望看到的未來趨勢有哪些？

睿風：我覺得AIGC在游戲領域必然能大量落地。從兩個層次，一個是提升游戲開發(fā)效率，降低開發(fā)成本，尤其是美術(shù)的開發(fā)成本。如果能把這部分的效率提升5%-10%，對成本的降低都是非常顯著的。所以我個人覺得這個方向是比較明確的，目前行業(yè)有不少的游戲團隊已經(jīng)開始用AI繪畫工具去輔助創(chuàng)作了。

另外一塊就是對游戲的這種場景來說，用文字和圖片等來直接生成3D模型。未來發(fā)展上，游戲行業(yè)是有非常強的動力去促使技術(shù)往這個方向發(fā)展的。

問：關(guān)于伏羲，在游戲或者說非游戲行業(yè)這一塊，您覺得還有方面需要補充的？

睿風： 目前，我們主要聚焦于兩塊，第一是游戲本身對于游戲行業(yè)的賦能，主要面向網(wǎng)易內(nèi)部的游戲團隊，以及對人工智能技術(shù)的探索和深入研究。這需要持續(xù)地投入和發(fā)展，目前我們已經(jīng)有了比較豐富的積累和沉淀。

第二就是人機協(xié)作的發(fā)展思路，這是網(wǎng)易在游戲引擎及AI領域積累的深度融合，解決大規(guī)模算力數(shù)據(jù)及預訓練模型閉環(huán)問題。目前有靈眾包平臺已處理了上億級的數(shù)據(jù)量，在保證了游戲AI性能的同時，可以更加高效地收集游戲玩家的反饋，進一步提升AI性能。

《逆水寒》手游也是基于該技術(shù)為玩家?guī)砀咦杂啥鹊闹悄躈PC玩法，今后將有更多游戲接入這項技術(shù)，為用戶提供更極致的沉浸式交互體驗。我們也期待這項在游戲場景中不斷迭代的技術(shù)，未來能應用在更多元的場景之中。