在生成式人工智能領(lǐng)域,大模型多模態(tài)交互能力的升級(jí)正掀起一股新的AI浪潮,在RTC能力的加持下,人與AI的交互不再局限于文字,也可以通過(guò)語(yǔ)音通話進(jìn)行生動(dòng)、流暢的低延時(shí)交互,這也成為當(dāng)下國(guó)內(nèi)外大模型廠商新的發(fā)力點(diǎn)。
今年5月,GPT-4o的發(fā)布開(kāi)創(chuàng)了AI實(shí)時(shí)語(yǔ)音交互的先河。在此之前,一些傳統(tǒng)的大模型已經(jīng)具備語(yǔ)音交互的能力,但一般采用WebSocket方案,這一方案雖然應(yīng)用廣泛,但其傳輸架構(gòu)是基于TCP協(xié)議來(lái)構(gòu)建,延遲較高,在STT-LLM-TTS的三步驟中,一個(gè)來(lái)回的延遲就要2-3秒,在弱網(wǎng)等非理想網(wǎng)絡(luò)環(huán)境下,整體語(yǔ)音交互的延時(shí)更達(dá)到4秒+。在GPT-4o采用RTC方案后,展現(xiàn)出了自然、流暢的低延時(shí)語(yǔ)音交互體驗(yàn),也讓更多企業(yè)與開(kāi)發(fā)者看到了在AI語(yǔ)音交互中RTC方案的更優(yōu)性,并積極與RTC廠商合作,升級(jí)AI語(yǔ)音交互的體驗(yàn)。
聲網(wǎng)對(duì)話式AI解決方案
構(gòu)建實(shí)時(shí)多模態(tài)AI語(yǔ)音交互
聲網(wǎng)作為全球?qū)崟r(shí)互動(dòng)云行業(yè)的開(kāi)創(chuàng)者,在音視頻領(lǐng)域積累了深厚的技術(shù)優(yōu)勢(shì)與場(chǎng)景實(shí)踐,通過(guò)與客戶在AIGC場(chǎng)景的深度合作,探索出了一套實(shí)時(shí)多模態(tài)對(duì)話式AI解決方案,該方案以語(yǔ)音為核心,支持視頻擴(kuò)展,實(shí)現(xiàn)文本/音頻/圖像/視頻的組合輸入&輸出,通過(guò)豐富的功能構(gòu)建真實(shí)、自然的AI語(yǔ)音交互體驗(yàn)。
例如對(duì)交互延遲進(jìn)行優(yōu)化,延遲可做到1s以內(nèi);支持AI降噪、背景人聲過(guò)濾,讓語(yǔ)音對(duì)話更純靜;支持隨時(shí)打斷與超擬人化人聲合成,讓對(duì)話更智能與逼真;同時(shí)還支持靈活可擴(kuò)展的AI Agent架構(gòu)等一系列功能,幫助開(kāi)發(fā)者與企業(yè)快速構(gòu)建適配自己業(yè)務(wù)場(chǎng)景的AI實(shí)時(shí)語(yǔ)音對(duì)話服務(wù)。
圖:聲網(wǎng)實(shí)時(shí)多模態(tài)對(duì)話式AI解決方案架構(gòu)圖
1、延遲低于1s,極速響應(yīng):聲網(wǎng)實(shí)時(shí)多模態(tài)對(duì)話式AI解決方案可做到語(yǔ)音對(duì)話延遲低于1s。通過(guò)在客戶端進(jìn)行低延遲的音頻采集和播放、借助聲網(wǎng)自研的SD-RTN?實(shí)時(shí)傳輸網(wǎng)絡(luò)實(shí)現(xiàn)全球范圍的低延時(shí)RTC傳輸,并進(jìn)一步通過(guò)更精準(zhǔn)低延遲的AI VAD、更快速的LLM推理首字耗時(shí)、低延遲流式TTS、同機(jī)部署等一系列技術(shù)手段,保證對(duì)話的實(shí)時(shí)性與流暢性。
2、智能打斷,貼近真實(shí)會(huì)話:在人類真實(shí)的語(yǔ)音對(duì)話中,打斷對(duì)方并提出新的疑問(wèn)是非常常見(jiàn)的現(xiàn)象,而在AIGC場(chǎng)景,能否支持隨時(shí)打斷也成為衡量大模型智能化的重要指標(biāo)。聲網(wǎng)的方案也支持先進(jìn)的AI語(yǔ)音活動(dòng)檢測(cè)(AI VAD)技術(shù),可實(shí)現(xiàn)靈敏的自然語(yǔ)音打斷,模擬人類對(duì)話的自然流動(dòng),讓對(duì)話更加真實(shí)、自然。
3、嘈雜環(huán)境下也能清晰對(duì)話:即使在嘈雜的環(huán)境中,聲網(wǎng)的解決方案也能保證清晰的語(yǔ)音交流。通過(guò)AI噪聲抑制、背景人聲過(guò)濾、音樂(lè)檢測(cè)/過(guò)濾等算法,確保人與AI的對(duì)話不受環(huán)境干擾,始終保持順暢。
4、靈活可擴(kuò)展的AI Agent架構(gòu):AI Agent作為大模型的應(yīng)用框架,其重要性不言而喻。對(duì)于開(kāi)發(fā)者而言,往往會(huì)根據(jù)自身的喜好或者業(yè)務(wù)場(chǎng)景選擇不同的組件搭配AI Agent。對(duì)此,聲網(wǎng)的解決方案采用了靈活可擴(kuò)展的AI Agent架構(gòu),兼容市場(chǎng)主流的ASR、LLM和TTS技術(shù),并具備工作流編排能力,幫助開(kāi)發(fā)者與企業(yè)根據(jù)特定需求定制和擴(kuò)展AI驅(qū)動(dòng)的實(shí)時(shí)互動(dòng)體驗(yàn)。
5、超擬人化人聲合成:在一些傳統(tǒng)的AI語(yǔ)音對(duì)話中,AI角色機(jī)械式的聲音大大降低了對(duì)話的真實(shí)感。針對(duì)這一痛點(diǎn),聲網(wǎng)的解決方案超可實(shí)現(xiàn)超擬人真實(shí)音色,合成的聲音幾乎與真人無(wú)異,且支持私人定制音色,模擬喜怒哀樂(lè)等多種情緒表達(dá),提升用戶體驗(yàn),使互動(dòng)更加自然,還原真實(shí)體驗(yàn)感。
6、支持RTC與SIP網(wǎng)關(guān)互通:AI電話客服是當(dāng)下AIGC應(yīng)用最廣泛的場(chǎng)景之一,具備呼叫中心坐席的特性,對(duì)此,聲網(wǎng)的解決方案也支持RTC與SIP網(wǎng)關(guān)互通,用戶可直接通過(guò)聲網(wǎng)的RTC SDK直接呼叫企業(yè)客服中心坐席,有效的降低客服成本,提升客服效率。
RTC能力加持下
AIGC應(yīng)用場(chǎng)景迎來(lái)爆發(fā)
聲網(wǎng)在與客戶的合作中發(fā)現(xiàn),在RTC的加持下,AIGC應(yīng)用場(chǎng)景迎來(lái)進(jìn)一步爆發(fā),AI智能助手、AI情感陪伴、AI口語(yǔ)老師、AI客服的AI交互體驗(yàn)進(jìn)一步升級(jí),學(xué)生的學(xué)習(xí)效率更高,社交陪聊場(chǎng)景的娛樂(lè)性與沉浸感也進(jìn)一步增強(qiáng)。
來(lái)自量子位智庫(kù)推出的AI智能助手用戶數(shù)據(jù)報(bào)告顯示,截止8月國(guó)內(nèi)市場(chǎng)的AI智能助手App已超過(guò)64款。在AI情感陪伴領(lǐng)域也涌現(xiàn)了Soul、星野、Wow等一系列人氣社交APP。
以AI情感陪伴為例,隨著多模態(tài)交互能力的升級(jí),當(dāng)下AI情感陪伴類產(chǎn)品正呈現(xiàn)出三個(gè)特征:
1、語(yǔ)音/視覺(jué)交互:除了傳統(tǒng)的文本交互外,越來(lái)越多的AI情感陪伴類APP也在加入語(yǔ)音通話的功能,讓AI陪伴更具有真實(shí)感。同時(shí)在視覺(jué)交互方面,部分產(chǎn)品也支持了視頻通話功能,通過(guò)3D建模、擬真渲染等技術(shù)構(gòu)建逼真的數(shù)字人,讓人與AI的情感交互更加擬人化。
2、情感計(jì)算:人與AI的一個(gè)核心區(qū)別就是人具備情感,為了讓AI的回答更加智能與真實(shí),許多AI陪伴產(chǎn)品開(kāi)始加入情感計(jì)算的能力。通過(guò)語(yǔ)義識(shí)別、面部表情等信號(hào)檢測(cè)用戶的喜怒哀樂(lè)等情緒狀態(tài),并做出對(duì)應(yīng)的情感回應(yīng),實(shí)現(xiàn)更加人性化的交互體驗(yàn)。
3、私人定制:標(biāo)準(zhǔn)化的人機(jī)交互千篇一律,個(gè)性化的定制才更有新意。具備個(gè)性化定制能力,提供自主創(chuàng)作和個(gè)性化選項(xiàng)已經(jīng)成為AI陪伴類產(chǎn)品的新趨勢(shì),例如定制原生IP角色、定制IP專屬畫風(fēng)和語(yǔ)音體系、定制專屬互動(dòng)話題等一系列功能。
圖:電影《Her》里的AI助理被視為AI情感陪伴的啟蒙
在AI口語(yǔ)老師場(chǎng)景,聲網(wǎng)觀察發(fā)現(xiàn),1v1教學(xué)場(chǎng)景非常適用AI口語(yǔ)老師,從真人教學(xué)變成自學(xué)模式,例如正價(jià)課1v1與Demo課1v1教學(xué),AI數(shù)字人老師將代替真人,1v1 AI口語(yǔ)老師將成為未來(lái)語(yǔ)言學(xué)習(xí)機(jī)構(gòu)必備的應(yīng)用,AI數(shù)字人老師可能用于大齡學(xué)生與成人,卡通IP可用于低幼齡的課程。同時(shí)在職業(yè)教育賽道,已經(jīng)有不少教育機(jī)構(gòu)在大班課場(chǎng)景利用AI數(shù)字人老師教學(xué)。
同時(shí),在游戲社交、AI分身、實(shí)時(shí)語(yǔ)音翻譯等場(chǎng)景,實(shí)時(shí)AI語(yǔ)音也大有可為。例如,在狼人殺、誰(shuí)是臥底等場(chǎng)景,AI NPC角色雖然已經(jīng)在應(yīng)用,但是AI的痕跡還是較為明顯。在大模型具備實(shí)時(shí)語(yǔ)音交互能力后,誰(shuí)是臥底中的AI角色可以做到快速的推理并發(fā)言,再搭配語(yǔ)音仿真技術(shù),有望做到AI角色的以假亂真。