英偉達(dá)推出ACE for Games游戲定制化AI方案，實(shí)現(xiàn)智能NPC,對(duì)話,動(dòng)畫

5月29日消息，在中國臺(tái)北舉行的Comeutex 2023展覽中，英偉達(dá)創(chuàng)始人兼CEO黃仁勛展示了游戲與生成型AI的簡(jiǎn)單碰撞，該公司通過一則生成型AI創(chuàng)作的NPC對(duì)話視頻。

這則視頻由英偉達(dá)Omniverse ACE（Avatar Cloud Engine for Games）引擎支持，在于新的NPC對(duì)話時(shí)，玩家不再需要點(diǎn)擊選擇對(duì)話選項(xiàng)，而是通過按鈕可以直接說出自己想說的臺(tái)詞，NPC就會(huì)給出對(duì)應(yīng)的定制化回應(yīng)。

隨著游戲變得越來越復(fù)雜，NPC的創(chuàng)作也在不斷升級(jí)，與錄制的臺(tái)詞數(shù)量明顯增加，玩家與NPC互動(dòng)的選擇也越來越多，面部表情也變得越來越真實(shí)。尤其是對(duì)于重劇情的3A游戲而言，僅游戲劇情和配音就需要投入大量的人手和時(shí)間。

生成型AI技術(shù)的進(jìn)步，正在對(duì)游戲的創(chuàng)意、制作和玩法方式帶來改變。與Midjourney、Stable Diffusion等爆紅的圖形生成AI不同，ACE for Games是一套實(shí)時(shí)AI解決方案，可用于大規(guī)模研發(fā)和部署交互式化身及數(shù)字人應(yīng)用。

英偉達(dá)ACE for Games提供三個(gè)具有突破性的基礎(chǔ)模型

英偉達(dá)在其官網(wǎng)解釋稱，“玩家與NPC的互動(dòng)仍傾向于交易、腳本化和短暫的，隨著對(duì)話選項(xiàng)被快速消耗，僅起到了推動(dòng)故事向前發(fā)展的作用。如今，生成型AI可以通過提升他們對(duì)話技能的方式讓NPC變得更智能，創(chuàng)造隨著時(shí)間升華的連貫個(gè)性，并且?guī)韺?duì)玩家獨(dú)特的動(dòng)態(tài)化反應(yīng)?！?/p>

ACE for Games通過AI支持的自然語言互動(dòng)，讓NPC變得更加智能化，可以在本地PC或云端運(yùn)行，開發(fā)者能夠通過它在軟件和游戲里搭建和部署定制化的語音、對(duì)話和動(dòng)畫AI模型。

黃仁勛表示：“AI不僅有助于環(huán)境的還原和合成，還可以為角色制作動(dòng)畫，AI將成為游戲未來的重要組成部分?！?/p>

優(yōu)化的AI基礎(chǔ)模型包括以下三個(gè)：

英偉達(dá)NeMo：提供基礎(chǔ)語言模型和模型定制工具，以便對(duì)游戲角色進(jìn)一步調(diào)整模型。這些模型可以根據(jù)需要端到端集成，也可以任意組合，這種定制化大型語言模型（簡(jiǎn)稱LLM）支持適合游戲世界的特殊角色背景故事和個(gè)性。

英偉達(dá)Riva：提供自動(dòng)語音識(shí)別（ASR）和文字到語音（TTS）能力，可與英偉達(dá)NeMo進(jìn)行實(shí)時(shí)語音對(duì)話。

英偉達(dá)Omniverse Audio2Face：只需要一個(gè)音頻源，就可以立即為游戲角色創(chuàng)造富有表現(xiàn)力的面部動(dòng)畫。Audio2Face為虛幻引擎5提供Omniverse連接器，因此你可以直接向MetaHuman角色添加面部動(dòng)畫。

英偉達(dá)官博中寫道，“你可以通過NeMo模型校準(zhǔn)技術(shù)為NPC帶來活力。首先，使用行為科隆是基本語言模型能按照指令執(zhí)行角色扮演任務(wù)，為進(jìn)一步使NPC行為與與其保持一致，你未來可以應(yīng)用來自人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），在研發(fā)過程中收到游戲策劃們的實(shí)時(shí)反饋?！?/p>

NPC完全校準(zhǔn)之后，最后一步就是應(yīng)用NeMo Guardrails為NPC添加可編程規(guī)則。該工具可以在打造精準(zhǔn)、恰當(dāng)、主題明確且安全的游戲角色方面提供幫助。NeMo Guardrails原生支持用于研發(fā)LLM支持應(yīng)用的工具包LangChain。

這套工具可以給任何規(guī)模的開發(fā)者帶來靈活的部署方法，使英偉達(dá)ACE for Games的神經(jīng)網(wǎng)絡(luò)針對(duì)不同的功能進(jìn)行優(yōu)化，帶有各種規(guī)模、性能和品質(zhì)權(quán)衡。

ACE for Games基礎(chǔ)服務(wù)還可以幫助開發(fā)者微調(diào)游戲模型，然后通過英偉達(dá)DGX Cloud、GeForce RTX PC或?yàn)閷?shí)時(shí)推理現(xiàn)場(chǎng)部署。你還可以實(shí)時(shí)驗(yàn)證模型質(zhì)量、測(cè)試性能和延遲，以確保它們?cè)诓渴鹬斑_(dá)到特定標(biāo)準(zhǔn)。

為游戲創(chuàng)造端對(duì)端化身解決方案

為展示如何利用ACE for Games打造NPC，英偉達(dá)與初創(chuàng)公司Convai合作、幫助優(yōu)化ACE模塊并將其集成到其產(chǎn)品中。Convai是一家為在游戲和虛擬世界中創(chuàng)建和部署AI角色打造平臺(tái)的初創(chuàng)公司。

英偉達(dá)官網(wǎng)展示的ACE端到端研發(fā)套件示意圖

Convai公司創(chuàng)始人兼CEO Purnendu Mukherjee表示，“有了英偉達(dá)ACE for Games，我們的工具可以實(shí)現(xiàn)做AI NPC角色的時(shí)延和品質(zhì)，幾乎可以通過具有成本效益的方式向所有開發(fā)者提供?！?/p>

據(jù)英偉達(dá)官方介紹，Convai用英偉達(dá)Riva用作語音到文本和文本到語音能力，而英偉達(dá)NeMo用作驅(qū)動(dòng)對(duì)話的LLM，Audio2Face則用作從語音輸入轉(zhuǎn)化為AI支持的面部動(dòng)畫。

如本文開頭視頻所示，這些模塊都無縫集成于Convai服務(wù)平臺(tái)，并被輸入到虛幻引擎5和MetaHuman中，使身臨其境的NPC角色Jin栩栩如生。拉面店場(chǎng)景由NVIDIA Lightspeed Studios藝術(shù)團(tuán)隊(duì)創(chuàng)建，在虛幻引擎5（NvRTX 5.1）的NVIDIA RTX分支中運(yùn)行。該場(chǎng)景使了RTX直接照明（RTXDI）進(jìn)行光線跟蹤照明和陰影渲染，與NVIDIA DLSS 3一起實(shí)現(xiàn)最佳性能。

已經(jīng)在使用現(xiàn)有英偉達(dá)生成型技術(shù)進(jìn)行游戲研發(fā)的開發(fā)者包括：歐洲頭部開發(fā)者之一GSC Game World，正在將Aduio2Face運(yùn)用到即將到來的游戲《潛行者2：切爾諾貝利之心（S.T.A.L.K.E.R.2:Heart of Chornobyl）》里。

獨(dú)立游戲開發(fā)者Fallen Leaf也在其第三人稱視角科幻驚悚游戲《Fort Solis》里，用Audio2Face制作角色面部動(dòng)畫。此外，如Chrisma.ai這樣的生成型AI聚焦公司也在利用Audio2Face支持其對(duì)話引擎的動(dòng)畫。