Meta發(fā)布Voicebox AI語音生成模型、僅需2秒聲音樣本就可讓你說出6國語言

Meta目前發(fā)布了Voicebox AI模型，相對于只能使用文本或圖片回復(fù)的競品模型，Voicebox AI模型的優(yōu)勢主要如其名，能夠生成用于回復(fù)的音頻消息。

Voicebox可以制作高質(zhì)量的音頻剪輯并編輯預(yù)先錄制的音頻，例如移除汽車音箱或狗叫聲的同時保留音頻的內(nèi)容和風(fēng)格。該模型也是多語言的，僅需2秒聲音樣本，可以產(chǎn)生六種語言的語音。

未來像Voicebox這樣的多用途生成AI模型可以為元宇宙中的虛擬助手和NPC角色提供自然的聲音，也可以讓視障人士聽到朋友由文本傳來轉(zhuǎn)為語音的內(nèi)容，AI會用他們的聲音朗讀這些文本消息。

Meta表示，Voicebox具有多功能性，可以實現(xiàn)各種任務(wù)，包括：

上下文文本到語音合成：使用短至兩秒的音頻樣本，Voicebox可以匹配音頻風(fēng)格并將其用于文本到語音生成。

語音編輯和降噪：Voicebox可以重新創(chuàng)建被噪音打斷的部分語音或替換說錯的詞，而無需重新錄制整個語音。例如，您可以識別被狗叫聲打斷的一段語音，將其裁剪，然后指示Voicebox重新生成該段內(nèi)容。

跨語言風(fēng)格轉(zhuǎn)換：比方說某人以一段英語演講的內(nèi)容，Voicebox可以生成他以不同語言演講的內(nèi)容。將來可以使用此功能來幫助人們以自然、真實的方式進(jìn)行交流，即使他們不會說同一種語言。

Diverse speech sampling：從不同的數(shù)據(jù)中學(xué)習(xí)后，Voicebox可以生成更能代表人們在現(xiàn)實世界中使用上述六種語言的談話方式的語音。

Voicebox AI模型的特色，圖源Meta

Meta表示，Voicebox可以為基于AI的虛擬助手或元宇宙中的NPC提供自然而真實的語音效果。而對于無障礙方面而言，Voicebox也可以對聲帶受損的人群提供一定的協(xié)助作用。

不過，Meta表示Voicebox AI模型目前仍處于研發(fā)階段。Meta表示，他們意識到這種人工智能技術(shù)在虛假偽造方面，可能會帶來潛在危害。事實上，在新聞上也已經(jīng)聽過有些詐騙集團(tuán)利用與本人幾乎一樣的聲音來進(jìn)行詐騙的案例出現(xiàn)過了，因此Meta目前正在努力找到一種有效的方式來區(qū)分真實語音和由Voicebox生成的音頻，在找到解決方案前，暫時不會向公眾公開提供。