Meta發(fā)布Voicebox AI語音生成模型、僅需2秒聲音樣本就可讓你說出6國語言

Meta目前發(fā)布了Voicebox AI模型，相對于只能使用文本或圖片回復的競品模型，Voicebox AI模型的優(yōu)勢主要如其名，能夠生成用于回復的音頻消息。

Voicebox可以制作高質量的音頻剪輯并編輯預先錄制的音頻，例如移除汽車音箱或狗叫聲的同時保留音頻的內容和風格。該模型也是多語言的，僅需2秒聲音樣本，可以產(chǎn)生六種語言的語音。

未來像Voicebox這樣的多用途生成AI模型可以為元宇宙中的虛擬助手和NPC角色提供自然的聲音，也可以讓視障人士聽到朋友由文本傳來轉為語音的內容，AI會用他們的聲音朗讀這些文本消息。

Meta表示，Voicebox具有多功能性，可以實現(xiàn)各種任務，包括：

上下文文本到語音合成：使用短至兩秒的音頻樣本，Voicebox可以匹配音頻風格并將其用于文本到語音生成。

語音編輯和降噪：Voicebox可以重新創(chuàng)建被噪音打斷的部分語音或替換說錯的詞，而無需重新錄制整個語音。例如，您可以識別被狗叫聲打斷的一段語音，將其裁剪，然后指示Voicebox重新生成該段內容。

跨語言風格轉換：比方說某人以一段英語演講的內容，Voicebox可以生成他以不同語言演講的內容。將來可以使用此功能來幫助人們以自然、真實的方式進行交流，即使他們不會說同一種語言。

Diverse speech sampling：從不同的數(shù)據(jù)中學習后，Voicebox可以生成更能代表人們在現(xiàn)實世界中使用上述六種語言的談話方式的語音。

Voicebox AI模型的特色，圖源Meta

Meta表示，Voicebox可以為基于AI的虛擬助手或元宇宙中的NPC提供自然而真實的語音效果。而對于無障礙方面而言，Voicebox也可以對聲帶受損的人群提供一定的協(xié)助作用。

不過，Meta表示Voicebox AI模型目前仍處于研發(fā)階段。Meta表示，他們意識到這種人工智能技術在虛假偽造方面，可能會帶來潛在危害。事實上，在新聞上也已經(jīng)聽過有些詐騙集團利用與本人幾乎一樣的聲音來進行詐騙的案例出現(xiàn)過了，因此Meta目前正在努力找到一種有效的方式來區(qū)分真實語音和由Voicebox生成的音頻，在找到解決方案前，暫時不會向公眾公開提供。