Google的AI視頻翻譯技術(shù)Universal Translator：不但能同步口譯成各種語言，連人物嘴型都能配合

通過科技的幫助，現(xiàn)在我們遇到不熟悉的外語時(shí)，已經(jīng)有很多技術(shù)可以輔助我們理解。

最早，像是一些線上翻譯網(wǎng)站，可以幫我們翻譯文本；之后，我們?cè)赮ouTube增至到可以有即時(shí)識(shí)別語音的功能，把語音先轉(zhuǎn)成文本，然后再翻譯成不同的字幕。

然后又有Google Lens，可以拍照之后就把圖片中的外國(guó)文本轉(zhuǎn)換成你認(rèn)識(shí)的文本，出國(guó)的時(shí)候遇到看不懂的菜單、海報(bào)特別好用。

再來就是ChatGPT的加入，利用AI翻譯更多更長(zhǎng)的文本，也變成輕松簡(jiǎn)單。

現(xiàn)在，Google不但打算要攻下同步口譯這一塊，而且他們打算連說話者的嘴型都要改變。

先前在2023 I/O開發(fā)者大會(huì)上，Google披露了這項(xiàng)他們正在開發(fā)的技術(shù)，名為Universal Translator。

顧名思義，該工具旨在將視頻不但從一種語言翻譯成另一種語言，同時(shí)保留整體基調(diào)和氛圍。這意味著該技術(shù)不僅可以將視頻從一種語言翻譯成另一種語言，還可以模仿說話者的聲音、語氣和面部表情，人物說話的時(shí)候，視頻會(huì)根據(jù)目標(biāo)語言的發(fā)音同步改變口型。

如下圖所示，Universal Translator首先檢測(cè)單詞并進(jìn)行翻譯。然后，它會(huì)檢查說話者的語氣以及他們強(qiáng)調(diào)的內(nèi)容。結(jié)合這兩個(gè)方面后，它會(huì)生成目標(biāo)語言的語音。最后，它會(huì)根據(jù)AI生成的語音的發(fā)音同步視頻中說話者的口型。

不過，考慮到此工具可能被濫用來創(chuàng)建假新聞，目前Google并不開放給一般人使用，表示將限制對(duì)Universal Translator的使用權(quán)限。因此，只有Google授權(quán)合作伙伴才能將其用于建設(shè)性項(xiàng)目，而一般用戶暫時(shí)無緣。